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Capitulo 1 
Introdu^ao 



Essa pesquisa apresenta a busca por um modelo de composigao e performance de musica inter- 
ativa - evento sonoro gerado a partir da performance de um musico sobre uma base de progra- 
mas, materials estocados e analise das informafoes da performance em tempo-real. O modelo 
e materializado na forma de um sistema computacional que seja capaz de extrair informagoes 
diversas sobre a performance e categorizar aspectos da performance musical e interagir com 
essa performance. 

O sistema e constrmdo com a linguagem Pure Data (PD). O Pd e uma linguagem grafica ori- 
entada ao objeto que surgiu como linguagem voltada para a criagao de musica eletronica e nos 
ultimos anos foi-se desenvolvendo inumeras bibliotecas de objetos especializados em modelos 
matematicos, modelamentos de interface grafica, diversas implementagoes em processamento 
e analise em tempo-real de sinal de audio, video, rede e hardware. A analise dos dados da 
performance musical e constrmda usando objetos "nativos" e "externals 44 discussao que sera 
aprofundada no capitulo da metodologia. Todas as partes do sistema sao constrmdas em Pd, 
no formato de objetos modulares. Os objetos criados tern a fungao de agregar diversos outros 
objetos e organizar o fluxo de dados de analise e performance num contexto que possibilite o 
re-uso em diferentes projetos e contextos de criagao de musica e arte interativa.Tambem sao ap- 
resentados tres prototipos de uso do sistema. A visao geral do SInCoPA e a de uma biblioteca de 
objetos de Pd e sua documentagao de uso, e um catalogo de prototipos e projetos utilizando essa 
biblioteca que servem como campo de avaliagao de possibilidades e experimentagao sonora. 

Foram usadas diversas bibliotecas externas ao Pd, algumas que sao encontradas na distribuifao 
pd-extended \ e outras contribuigoes da comunidade de desenvolvedores. 

^d-extended e uma distribuigao do Pd com varias bibliotecas externas ja compiladas na maioria dos sistemas 
operacionais existentes. E o principal "fork" do Pd, e possui versao estavel e versao de desenvolvimento. A historia 
de desenvolvimento do Pd pode ser entendida como uma sequencia de Forks levando a diferentes versoes e estagios 
de desenvolvimento locais, como JMax, Max-Ircam, DesireData, etc... Essa pesquisa assume como padrao a versao 
atual do pd-extended com algumas adicoes de bibliotecas de objetos feitos em Pd e alguns objetos codados em C 
e compilados como objetos de Pd. 
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1.1 Problemas 

A criagao de musica interativa e uma tarefa que envolve diversos conhecimentos como tecnicas 
de composigao musical, sfntese sonora, analise e processamento de sinal digital e design de 
interface. 

Nesta pesquisa investigamos o problema da criagao de uma biblioteca de utilitarios que 
realizem a interagao entre os conhecimentos necessarios para criagao de musica interativa. 

Diversos problemas derivam da intersecgao entre descrigoes simbolicas de composigao e 
estruturagao musical como nota, acorde, motivo e especificagoes de sfntese sonora como modulagao, 
envelope e formas de onda. Alguns problemas sao conceituais e demandam um universo proprio 
de pesquisa como por exemplo a detecgao automatica de comego e fim de frases melodicas. 
Outros problemas sao tecnicos e preveem uma depuragao na programagao como por exemplo a 
sincronia entre as mensagens de controle de parametros e o processamento de blocos de audio. 

O paradigma composicional no Csound pode ser visto como semelhante ao trabalho tradi- 
cional do compositor que descreve eventos atraves de dois arquivos: uma orchestra e um score, 
onde no primeiro sao descritas as qualidades fixas do timbre e no segundo os eventos e os 
parametros dinamicos do timbre. A arquitetura de programas como Max e Pd, a primeira vista 
pode ser vista como simples e convidativa pelo fato de possibilitar uma programagao intu- 
itiva e parecer com um fluxograma. Mas logo se dao as primeiras dificuldades pelo fato de o 
paradigma da linguagem ser muito calcado na performance em tempo-real causando a dificul- 
dade de organizagao dos dados composicionais, como notas, acordes, eventos e mudangas de 
parametros de sfntese. 

Os miisicos tern sua formagao baseada na notagao musical tradicional que estabelece uma 
cadeia de binomios de parametros de estruturagao sonora (ZAMPRONHA 2000) como al- 
tura versus ataque, duragao versus articulagao ou metrica versus expressao. O sistema da 
notagao tradicional tern uma estrutura que possui uma sequencialidade temporal dos even- 
tos implicita. A migragao dos miisicos para ambientes de composigao e design sonoro como 
Csound (Boulanger 2000) tende a ser mais natural pela adaptagao de um tipo de estrutura tem- 
poral (partitura) para outro (Score), e tambem pela oposigao binaria entre "orchestra" e "score". 
No Csound, a base de dados e chamada "Score". Scores em Csound consistem na maioria das 
vezes em "notas", que sao comandos para um sintetizador (orchestra). O score e essencialmente 
uma sequencia temporal. Uma possivel sequencia temporal em Csound pode ser vista: 

; orchestra 
instr 1 

kl linen 10000, .2, p3, .5 
al oscil kl, p4, 1 
out al 

endin 
; score 

fl 0 2096 10 1 .2 .3 
il 0 1 440 
il 1 1 660 
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Programadores tambem sao acostumados com linguagens de programagao que tern sua 
gramatica baseada na sequencialidade das agoes. A vantagem de usar uma ferramenta de sintese 
embutida em uma linguagem de programagao e que se pode ter uma flexibilidade muito maior 
na criagao relagoes entre os elementos devido a possiblidade de criar novas abstragoes. Abaixo 
temos um exemplo de codigo em Comonn lisp music. 

(def instrument simp (start dur frequency amp \&optional 

(amp-env ' (0 0 .5 1.0 1.0 0))) 
(multiple-value-bind (beg end) (times->samples start dur) 
(let ( (osc (make-oscil : frequency frequency)) 

(amp-env (make-env : envelope amp-env : scaler amp 

: dur dur) ) ) 

(run 

(loop for i from beg below end do 

(outa i (* (env amp-env) (oscil osc) ))))))) 

(with-sound () 

(simp 0 1 440 1) 
(simp 1 1 660 1) ) 

(with-sound () 

(loop for freq from 100 to 1000 by 100 
for dur from 0 to 10 do 
(simp dur 1 freq 1)) 

Se formos tentar implementar esse codigo em Pd. Podemos encontrar algo assim: 



glliel f 0.7 100, 0.2 100 150, 0.8 Z50 500, 0 750 100o[ 



Figura 1.1:2 notas num oscilador simples 

O fato do Pd ser uma linguagem grafica possibilita uma facilidade de descrigao do processo 
de sintese sonora pelo fato de que o proprio codigo e semelhante ao fluxograma tradicional de 
representagao da sintese. 
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A estrutura de um fluxograma possui uma sequencialidade implicita (da saida final ate os 
parametros de cada gerador), mas nao explicita como vao ser manipulados os parametros nem 
qual sera a duragao da musica. 

Os ambientes Max/Msp e Pd sao construidos sob o paradigma do "envio da mensagem" que 
nao necessariamente possibilita que a linguagem seja adequada para o estoque e a recuperagao 
de dados. O usuario e praticamente forgado a colocar os dados dentro de conteiners - bases de 
dados, essencialmente - e a usar um leque de objetos como acessorios para estocar e recuperar 
dados dentro do controle de passagem de mensagens em tempo-real. 

A abordagem do Max/ Msp quanto aos dados e ao mesmo tempo simples e evasiva: ob- 
jetos especiais de armazenagem de dados como table, qlist, dentre outros sao disponibiliza- 
dos. Os dados sao essencialmente colocados dentro de objetos conteiners, e para cada tipo de 
objeto-conteiner uma abordagem particular e colocada para sua estocagem, edigao, interface e 
comunicagao com o resto do patch. 

A recuperagao de dados (a grande maioria das transagoes de bases de dados) e a pior quali- 
dade do Max porque mensagens nao tern valores de retorno. Por exemplo, uma caixa de niimero 
manipulada com o mouse nao retorna os dados da manipulagao, que devem ser recuperados com 
outros objetos). Os dados recuperados devem ser mandados como uma mensagem separada de 
retorno. Isso leva muitos programadores de Max a achar solugoes diferentes que facilite a 
interagao do patch com o mvel composicional. 

A ideia original por tras da criagao do Pd foi remover a barreira entre a computagao dirigida 
por eventos em tempo-real (como no estilo do Max de passagem de mensagens) e dos dados 
(como em pontos num grafico ou notas numa partitura). Em Pd os dois (caixas de objetos e 
estruturas de dados) podem facilmente coexistir em uma mesma janela. Essa "promiscuidade", 
no entanto, nao acaba deixando os objetos funcionais e os dados intimamente conectados. De 
fato, no design presente, o acesso aos dados tern que ser feito atraves de uma sequencia de 
objetos como acessorios . 

Em relagao a essa divisao do aspecto "performatico" e "composicional" do Pd, Miller Puck- 
ette explica que 

in its most succinct form, the problem is that, while we have good paradigms for 
describing processes (such as in the Max or Pd programs as they stand today), and 
while much work has been done on representations of musical data (ranging from 
searchable databases of sound to Patchwork and OpenMusic, and including Pd's 
unfinished data editor), we lack a fluid mechanism for the two worlds to intemper- 
ate. (Puckette 2004) 

Dentro de uma proposta de trabalho de composigao de musica interativa, o objetivo musical 
deve ser o mais claro possivel de maneira que o codigo emerja naturalmente dos problemas 
musicais ao inves de atrapalhar mais ainda os problemas composicionais. Abordando o assunto 
a partir de uma visao didatico-metodologica um primeiro projeto composicional em Pd, deve 
compreender a clara distingao entre os aspectos performaticos e composicionais do ambiente. 
Um primeiro projeto composicional deve dar conta de fornecer elementos para o estabeleci- 
mento de uma metodologia apropriada de controle dos eventos temporais. A proposta aqui e a 
de abordar o uso pratico e algumas possiveis implementagoes em Pd que apontem para a criagao 
de composigoes interativas mistas de maior porte. O objetivo e dispor de elementos que possam 
apontar para uma possivel poetica composicional. 
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1.2 Referencias 

Alguns projetos relacionados podem servir como fonte de inspiragao pra a presente pesquisa 
como o Cypher (Rowe 1993) de Rowe que usa a metafora da sociedade da mente de Minsky na 
forma de musicos artificiais dentro de um sistema multi-agente - o Meta-Cypher inclui multiplos 
ouvintes e performers alem de um meta-ouvinte. O Drum Circle (Eigenfeld 2007) e um sistema 
escrito em Max/MSP e explora o uso de multi-agentes sobre uma rede local onde cada agente 
emula um percussionista improvisando em um grupo de tambores, tendo como resultante um 
ritmo evolutivo. 

Um dos projetos mais amplos nessa area e o projeto Omax Brothers ( Assay ag et al. 2006) de- 
senvolvido no Ircam. Um sistema multi-agente criado para improvisagao musical entre homem- 
maquina que aprende em tempo-real com o performer humano. O niicleo da improvisagao e 
baseado em modelamento de sequencia e aprendizado estatistico. O sistema envolve uma ar- 
quitetura hibrida usando dois ambientes populares para composigao e performance, OpenMusic 
(baseado em Lisp) para modelamento e programagao de alto mvel e Max/MSP para a perfor- 
mance do sistema e processamento de audio em tempo-real. 

Da parte musical diversas pegas motivaram o desenvolvimento desse trabalho como as pegas 
"Jupiter" e "En Echo" de Philippe Manoury para flauta e computador e soprano e computador 
respectivamente. Essas musicas foram desenvolvidas em colaboragao com Miller Puckette o 
criador do Max e do Pd. As duas pegas empregam o uso da tecnica de "Score-follower", uma 
tecnica que tambem foi explorada por mim em meu trabalho de mestrado, na pega "Enquanto 
eles riem"(2005) para Clarinete e computador com Max/MSP. 

1.3 Processo 

O desenvolvimento cronologico dessa pesquisa levou a um primeiro momento de intenso apren- 
dizado dos detalhes e tecnicas de programagao com Pd, desenvolvendo materiais didaticos, 
tradugoes, e uma sequencia de estudos interativos usados em pegas musicais e performances 
sonoras. Um exemplo pode ser visto na figura 1 .2, onde um Score-follower controla os parametros 
de processamento do som da flauta e harmoniza certos trechos da pega de acordo com as notas 
da flauta. 

A comunidade de desenvolvimento do Pd e muito ativa, e explicitamente projetos open- 
source se esforgam para mudar a condigao do interessado no software de usuario passivo a 
participante ativo do desenvolvimento e das decisoes coletivas sobre os caminhos que a lin- 
guagem deve tomar. Esse fator acarretou na organizagao de 2 eventos com desenvolvedores 
e forte interagao com a comunidade 2 , desenvolvimento de pegas interativas para instrumentos 
tradicionais e computador, oficinas de extensao, participagao em desenvolvimento de projetos 
coletivos usando pure data, como navalha e mimosalib usada nos prototipos. 

O desenvolvimento de um sistema dessa natureza envolve um tipo de conhecimento que en- 
volve tecnica de composigao, analise, performance e computagao. Essa fusao se da de maneira 

2 III International Convention of Puredata (PdCon) em Sao Paulo e o I Simposio Internacional de Interatividade 
nos Sistemas Computacionais Livres (wwww.iscl2009.wordpress.com) em Salvador em 2009. 
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pragmatica, materializada num sistema de software e hardware, capaz de responder musical- 
mente a estimulos musicais e tambem capaz de aprender e analisar comportamentos musicais 
do miisico tendo conhecimento de seu passado, presente e assim podendo projetar o futuro. A 
performance desse tipo de situagao musical tambem leva a um de questoes de como o sistema 
se comporta em diversas situagoes de hardware diferentes e qual o nivel de estabilidade dos 
aplicativos na pratica. 



Capitulo 2 

Revisao Bibliografica 



O conceito de interagao entre uma performance musical e computador vem sendo definido nas 
ultimas 3 decadas, e possui diferentes nuances de definigao a depender do contexto de idioma 
e pratica musical a que se refere e a tecnologia em que e implementada. A descrigao "sistemas 
musicais interativos 44 , e um termo introduzido no livro Interactive Music Systems (Rowe 1993) e 
definido como "sistemas de musica computacional em que as mudangas de comportamento sao 
responsivas a um estimulo musical 44 . Interagao em um sentido mais global pode ser definida: 
"Interagao tern dois aspectos: tanto as agoes do performer afetam a safda do computador, ou as 
agoes do computador afetam os resultados do performer 44 (Garnett 2001). 

Isso pode ser comparado a comunicagao entre miisicos no modelo de musica de camara 
tradicional onde dois ou mais miisicos realizam musica escrita, improvisada ou mista (Winkler 
1993). 

Em relagoes interativas mais complexas, "um compositor pode delegar varios papeis a um 
computador num ambiente de musica interativa. Ao computador pode se dar o papel de instru- 
mento, performer, regente, e/ou compositor. Esses papeis podem existir simultaneamente e/ou 
mudar continuamente"(Lippe 2001). 

A pesquisa em sistemas musicais interativos vem nos liltimos anos deixando de ser uma 
abstragao teorica e se transformando em realidade concreta. O corpo de areas de pesquisa 
compreende temas como cognigao musical, computagao e teoria e analise musical. 

Podemos apontar a multi-disciplinaridade dessa pesquisa como pertencente ao escopo de 
uma disciplina generica emergente denominada Design de Interafao(ID). A maioria dos tratados 
e especificafoes da ID se referem a interagao para a web e interagao homem-maquina focada em 
paradigmas comerciais. Ainda que essa pesquisa busque uma maior interagao homem-maquina 
num nivel de funcionalidade auxiliar a poetica musical, algumas ideias e pensamentos da ID 
podem ser liteis na organizagao do desenvolvimento do SInCoPA. Como por exemplo os sete 
estagios da agao (Norman 2006) onde descreve que para descobrir o que torna a execugao de 
uma tarefa dificil e necessario examinar a estrutura de uma a$ao. Ele propoe sete estagios: 
um para meta, tres para execugao e tres para avaliagao. A seguir cada estagio sera detalhado. 
Formalizar a meta - o primeiro estagio refere-se a decisao de realizar alguma coisa, ou seja, 
estabelecer a meta a ser alcangada. A meta e algo a ser atingido, e nem sempre e bem definida. 
Formalizar a intengao - de acordo com Norman as metas nao definem precisamente o que 
deve ser feito. Para se transformar em agoes as metas precisam ser traduzidas em definigoes 
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especificas do que deve ser executado, o autor denomina essas definigoes de intengoes. As 
intengoes sao agoes especificas que foram realizadas para atingir as metas. Portanto, apos de- 
terminar a meta a ser alcangada deve-se determinar quais serao as agoes a serem executadas 
para atingir a meta estabelecida. Especificar a agao - apos definir as intengoes, essas devem ser 
traduzidas por um grupo de comandos internos, ou seja, uma sequencia de agoes que possam 
ser desempenhadas de modo a satisfazer a intengao. Ressalta-se que ate esta etapa tudo ocorre 
mentalmente. Executar a agao - com a sequencia de agoes definidas, deve-se colocar em pratica 
o que foi estabelecido. Ter a percepgao do estado do mundo - esta fase esta intimamente rela- 
cionada com a posterior (interpretar o estado do mundo). Neste momento, deve-se perceber as 
alteragoes ocorridas no ambiente que ocorre a agao. Interpretar o estado do mundo - apos a 
percepgao deve-se analisar e compreender o que ocorreu no ambiente em questao. 

Avaliar o resultado - por fim, deve-se comparar o resultado obtido com a meta estabele- 
cida para concluir se o que foi planejado foi de fato alcangado. Norman deixa claro que estes 
estagios nao sao regras, sao apenas um modelo aproximado para compreender como os in- 
dividuos fazem as coisas. Esses estagios podem facilmente ser pensados como um metodo para 
um design do desenvolvimento de um projeto interativo. Apesar da presente pesquisa nao usar 
de maneira sistematica esse metodo, esses estagios pode servir como metodo de avaliagao ao 
final do desenvolvimento. 

Outra area emergente que possui muitas caracteristicas em comum com essa pesquisa e a 
disciplina que se chama "Realidade Aumentada" (RA), que e uma linha de pesquisa dentro da 
ciencia da computagao que lida com integragao do mundo real e elementos virtuais ou dados 
criados pelo computador. Atualmente, a maior parte das pesquisas em RA esta ligada ao uso 
de videos transmitidos ao vivo, que sao digitalmente processados e "ampliados" pela adigao de 
graficos criados pelo computador. 

A definigao de Ronald Azuma sobre a Realidade Aumentada (Azuma 1997) e uma descrigao 
generica que pode nos auxiliar na delimitagao teorica. Ela ignora um subconjunto do objetivo 
inicial da RA, porem e entendida como uma representagao de todo o dominio da RA: Realidade 
Aumentada e um ambiente que envolve tanto realidade virtual como elementos do mundo real, 
criando um ambiente misto em tempo real. Azuma define a Realidade Aumentada como um 
sistema que: 

• combina elementos virtuais com o ambiente real; 

• e interativa e tern processamento em tempo real; 

• e concebida em tres dimensoes. 

Se pensarmos em uma realidade aumentada sonora, chegaremos a uma definigao que se 
afina com alguns objetivos dessa proposta. Um projeto similar nesta busca de interatividade 
sonora e o RjDj - uma companhia que desenvolve software de audio para IPhone, baseado em 
Pure data. Cada software e chamado "cena"e e feito em Pd. Cada "cena"se ocupa em explo- 
rar alguns aspectos sonoros do ambiente e interagir responsivamente com esses sons, criando 
uma outra narrativa com elementos reais a volta. A experiencia de escutar sua voz distorcida, 
somada a outros sons do ambiente sonoro, provoca uma mudanga de percepgao ate entao ex- 
plorada somente no circuito da miisica eletroaciistica e experiencias de laboratorio. O RjDj 
possibilita experiencias sonoras linicas, integrando o som do ambiente , inventividade sonora e 
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re-combinagao atraves de software. Pode-se considerar o RjDj um real experimento em reali- 
dade aumentada no campo sonoro, uma vez que uma "cena" pode "harmonizar" eventos sonoros 
acontecidos ao redor, ou modificar o andamento de uma musica pelo sensor de movimento do 
IPhone. Os inventores do RjDj, costumam chamar o sistema deles de "droga digital 46 , pois e ca- 
paz de alterar o estado de percepgao sonora, de acordo com a cena carregada e com os estimulos 
do ambiente e do usuario. 

A pesquisa em computagao musical tradicionalmente se utiliza de desenvolvimentos em 
redes neurais artificiais (ann - artificial neural networks), agentes inteligentes artificiais e outros 
ramos da pesquisa em inteligencia artificial (IA); a produgao musical oferece otimos casos - 
teste para a pesquisa em IA. Esse projeto apresenta o desafio de construir um sistema que use 
elementos da pesquisa em IA possibilitando uma interagao proxima com musicos humanos e 
que seja uma base de trabalho funcional para a pratica artistico-musical. Isso e mais facil de 
falar do que de fazer; as habilidades de musicos humanos em fluidez de agao, capacidade de 
resposta a situagoes novas e referencias culturais, transformam a capacidade de interagao dos 
sistemas computacionais numa ardua tarefa. O fato do sistema ter como paradigma a criagao 
de musica em tempo-real ainda requere uma grande dimensionalidade de descrigoes, rapido 
aprendizado, respostas e efetiva capacidade de antecipagao. O campo de pesquisa em sistemas 
musicais interativos(Rowe 1993) se consiste em sistemas de software e hardware criados para 
o fazer musical, mais tipicamente na performance de concertos ao vivo combinando maquinas 
e musicos humanos. Os trabalhos atuais nesse campo incluem ao mesmo tempo a analise de 
audio em tempo-real, cognigao musical e experiencias em I A e robotica; um projeto inspirador 
nesse campo e o MahaDeviBot (Kapur et al. 2007), que e um robo percussionista armado de 
treze tambores, capaz de se sincronizar com um sitarista humano atraves de sensores. 

Segundo a classificagao de sistemas musicais interativos (Rowe 1993) este e um sistema 
centrado no paradigma da performance, focando tanto no instrumento quanto no performer. A 
classificagao de sistemas musicais interativos de Rowe preve 3 dimensoes de classificagao de 
sistemas: 

1 . Programas dirigidos pela "partitura" (score-followers) ou dirigidos pela performance (interagao 
pela improvisagao); 

2. Diferengas em relagao ao metodo de resposta pelo sistema que podem ser: transforma- 
tivos, generativos ou sequenciados. 

3. Distingao entre paradigmas de construgao do sistema. Podemos distinguir entre sistemas 
com paradigma no instrumento, com a ideia de extender virtualmente as capacidades 
tradicionais dos instrumentos gerando estruturas como hyperinstruments, (aqui citar Ma- 
cho ver e Impett). E finalmente sistemas calcados no paradigma do performer que tentam 
construir musicos artificais, uma presenga musical com personalidade e comportamento 
proprios com graus diferentes de intervengao e influencia do musico humano. 

A pesquisa que aqui se apresenta pode se enquadrar como dirigida pela performance com re- 
spostas transformativas e generativas e tendo o paradigma de construgao calcado no performer. 
Durante o mestrado foram desenvolvidas composigoes utilizando um score-follower constrmdo 
em Max/MSP. Nesse caso o tipo de interagao foi dirigido pela partitura com respostas sequen- 
ciadas e tendo paradigma no performer. Consideramos esse tipo de interagao como um nivel 
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medio de interagao, pois apesar do computador executar sozinho, ele sempre executa trechos 
pre-estabelecidos. No presente trabalho, iremos considerar como situagao composicional ideal 
a possibilidade de "ensinar" certos comportamentos musicais apenas atraves da performance 
musical, ou seja, um ambiente que aprenda dinamicamente padroes de execugao e resposta 
do miisico humano e possa interagir com esses padroes, reiterando, competindo, negando ou 
propondo novas situagoes. 

Uma outra classificagao derivada da de Rowe, e a apresentada na forma de "Tecnicas de 
Interagao" (Pestova 2008), onde explica: 

Um breve exame de tecnicas de interagao comum e sincronizagao entre o performer 
e o computador em obras com eletronica ao vivo, e tambem dos problemas envolvi- 
dos e possiveis solugoes da literatura 

Nesse sentido sao apresentadas duas grandes categorias para classificar pegas de musica 
interativa: 

• Score Following 

• Score Orientation 

Na classificagao de sistemas (Rowe 1993) o trabalho de construgao de um sistema inter- 
ativo se baseia na transversalidade de tres campos de pesquisa: teoria musical, AI e ciencia 
cognitiva. A presente pesquisa se inspira e usa livremente elementos e ideias de pesquisas em 
teoria musical, composigao e cognigao musical. Em relagao a representagao dos sons dentro de 
um contexto de trabalho composicional (Xenakis 1996), aponta o uso de um espago multidi- 
mensional como auxiliar na representagao das caracterfsticas de um som como um grafico que 
auxilie a composigao, ordenando cada caracteristica de um som como altura, amplitude, tempo, 
densidade, desordem, parametros de timbre, etc.; onde cada caracteristica e uma linha uni- 
dimensional, e os sons, pontos paralelos em varias dimensoes. Assim o trabalho composicional 
pode ser visto como distribuir pontos em uma linha, onde podemos trabalhar com simetria, 
assimetria, repetigao, variagao ou surpresa. 

Em relagao a esta proposta, Xenakis acrescenta: 

Tradicionalmente a musica tern duas dimensoes estabelecidas - tempo e altura. His- 
toricamente outras foram adicionadas como, por exemplo, as dinamicas, ainda que 
estas tenham sido um tanto vagamente representadas na musica instrumental. Com 
o desenvolvimento da musica eletronica e da musica computacional, a multidimen- 
sionalidade da representagao do som se tornou ao mesmo tempo natural e pratica. 
Mas a musica vai alem da multidimensionalidade - ela e ainda mais complexa. 
(Xenakis 1996) 

Com o termo complexidade, ele se refere as correlagoes entre os niveis de construgao de 
uma pega musical. Mostra um exemplo rapido de tres niveis em que o nivel zero abrange altura, 
intensidade e timbre. No nivel um, frases e acordes e no nivel dois a forma. 
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Uma das caracteristicas de um sistema interativo e a capacidade do sistema de emular 
tecnicas composicionais e responder "compondo" em tempo-real a estimulos musicais provin- 
dos de miisicos humanos. Para isso deve-se implementar no sistema tecnicas de composigao 
que sejam a maneira como o sistema "percebe" e responde aos estimulos. Nesse sentido o con- 
ceito de "permeabilidade" de alturas (Ligeti 1958) pode ser um conceito muito util se aplicado 
aos parametros de analise das alturas pelo sistema. Segundo Ligeti: 

A tendencia geral conduz, entao, para a insensibilizagao da fisionomia dos inter- 
vals. Sucessoes de tons e superposigoes verticais tornam-se, em grande escala, 
indiferentes frente aos intervalos dos quais provem; conceitos como consonancia 
e dissonancia se tornam irrelevantes: tensoes e distensoes podem ser obtidas com 
qualidades estatisticas da forma, como relagao de registros, densidade ou tipos de 
tecido das estruturas [...] A perda da sensibilidade perante os intervalos conduz a 
um estado que poderiamos chamar de permeabilidade. Isso significa que estruturas 
de diferentes qualidades que transcorrem simultaneamente podem interpenetrar-se 
e mesmo dissolver-se completamente mudando apenas as relagoes de densidade 
horizontal e vertical, sendo indiferente, em principio, quais intervalos se cruzam 
em detalhe [...] Embora a permeabilidade nao tenha tido, ate o momento, nenhuma 
influencia decisiva sobre a forma, nao era desconhecida nos estilos musicais anti- 
gos. Quern teve o grau mais baixo de permeabilidade ate agora talvez tenha sido 
Palestrina, em cuja musica vozes simultaneas, reguladas por leis expressas univo- 
camente, enrolavam-se umas na outras. As possibilidades de combinagoes inter- 
valares, fortemente fixadas, nao permitiam a menor ambigiiidade no transcurso das 
estruturas; portanto, as relagoes entre dissonancia e consonancia estavam tratadas, 
naquele estilo, com o maior cuidado. 

Ligeti fala aqui sobre uma permeabilidade dos intervalos de altura, pode-se pensar em 
ampliar, e implementar no sistema, esse pensamento de permeabilidade para conceitos como 
permissividade evolutiva,como por exemplo, a permissividade de emergencia de estruturas 
derivadas do material da propria analise do timbre do audio de entrada. Outro exemplo pode- 
ria ser a emergencia de certos comportamentos contrastantes em trechos isolados do material. 
A permeabilidade de alturas pode ser um parametro de analise das alturas de uma performance 
em tempo-real. Outra possibilidade de aplicagao pode ser o controle geral da permeabilidade de 
alturas, tendo o sistema a capacidade de classificar a porcentagem da permeabilidade envolvida 
em cada trecho. Segundo Ligeti: 

A insensibilidade frente aos intervalos e a grande permeabilidade e ainda mais im- 
portante na musica de Cage e seu circulo, proveniente de principios totalmente 
diferentes. Existem obras de Cage que podem ser executadas tanto isoladamente 
quanto de forma simultanea com outras partituras onde, entao, cada pega se trans- 
forma em capa de uma possivel superposigao que, se bem sera mais densa que 
suas componentes, nao esta composta de forma diferente delas. A indiferenga de 
tais estruturas, resultado de manipulates com o acaso, esta estreitamente rela- 
cionada com a indiferenga dos produtos automaticos da musica serial primitiva. 
Essa indiferenga tende tambem, por sobre as relagoes intervalares, para uma ampliagao 
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das outras dimensoes musicais. Uma vez eliminadas as relagoes hierarquicas, afroux- 
adas as pulsagoes metricas simetricas, transposto os graus de duragao, de intervalos 
e de timbre das distribuigoes seriais, torna-se cada vez mais dificil controlar os 
contrastes. 

Podemos pensar no conceito de permeabilidade como uma tecnica composicional que pode 
ser quantificavel, portanto passivel de ser implementada em um programa de computador e agre- 
gada ao sistema que aqui se propoe. Esse conceito pode ser aplicavel aos outros parametros do 
som e radicalizando esse pensamento podemos pensar no ato composicional como um controle 
dinamico entre diversos niveis de permeabilidade em todos parametros do som. 

Outros conceitos composicionais sao passiveis de implementagao e portanto uteis ao uni- 
verso de referencias composicionais necessarios ao sistema. Como por exemplo alguns con- 
ceitos da Gestalt aplicados a musica. A Teoria da Gestalt, em suas analises estruturais, de- 
scobriu certas leis que regem a percepgao humana das formas, facilitando a compreensao das 
imagens e ideias. Essas leis sao nada menos que conclusoes sobre o comportamento natural do 
cerebro, quando age no processo de percepgao. Os elementos constitutivos sao agrupados de 
acordo com as caracteristicas que possuem entre si, como semelhanga, proximidade e outras. O 
fato de o cerebro agir em concordancia com os principios Gestalticos ja poderia ser considerado 
a evidencia fundamental de que a Lei da Pregnancia e verdadeira. Sao estas, resumidamente, as 
Leis da Gestalt: semelhanga, proximidade, pregnancia, boa continuidade, clausura e experiencia 
passada. 

A reflexao sobre as estruturas sonoras numa performance musical a partir do estudo da 
percepgao com o olhar da gestalt, pode ajudar o compositor a estruturar um discurso interativo. 
Segundo Schachter: 

Com o campo da interagao, a percepgao deve se tornar mais importante que a tec- 
nologia. Com isso em mente, estrategias composicionais que inclmrem qualquer 
tipo de software para interagao deve evitar uma dependencia excessiva de platafor- 
mas especificas de computadores. Ao inves disso, a percepgao da unidade da 
construgao e a manipulagao de diferentes niveis de controle em tempo-real e ran- 
domicidade ou niveis de organizagao aleatoria, deve permanecer nas maos do com- 
positor/performer... Eu gostaria de apontar tres abordagens principais ou referencias 
para essas ideias sobre o discurso baseado na percepgao: 

1 . A ideia do criterio perceptual, baseado na teoria da Gestalt, comegando com 
Max Wertheimer e seguido por Marc Leman. 

2. A nova abordagem em relagao a percepgao na analise de cena auditiva por 
Albert Bregman. 

3. A Tipo-morfologia de Pierre Schaeffer no seu "Tratado dos objetos musi- 
cais", e a Espectromorfologia de Denis Smalley no "A linguagem da Musica 
eletroacustica", editado por Simon Emmerson. (Schachter 2007) 

Marc leman introduz um modelo que conecta processamento de sinal sonoro musical a 
analise musical e psicoaciistica computacional onde interagao se torna um problema central 
(Leman 1996). Ele afirma que a percepgao nao deve ser entendida estaticamente, sem evolugao 
temporal, mas como uma interagao evolutiva entre um organismo e um estimulo. 



18 



Uma expansao desse pensamento pode ser visto nos autores da "neo-Gestalt" ao considerar 
a analise da percepgao baseado nos principios da Gestalt: 

• Proximidade 

• Similaridade 

• Boa continuidade 

• Encerramento 

• Destino Comum 

Essas ideias sao extendidas na nova analise considerando-se que existem dois mveis de resposta 
ou estagios do processo perceptual. 

• Automatico, instintivo e sem esforgo; 

• Voluntario, aprendido e esforgado; 

A teoria da Gestalt pode facilmente ser criticada pelo fato de ser baseada na descrigao do 
processo de percepgao e nao prover um modelo que explique como se forma ou como e con- 
stituida a percepgao humana. Uma possibilidade de pesquisa seria usar as leis da Gestalt para 
refinar os arquivos de treinamento das redes do sistema. Nesse caso o programador calibra 
os pesos dos dados de analise, que vao ser os arquivos de treinamento das redes, de acordo 
com a descrigao gestaltica de sua propria percepgao. Alguns outros conceitos composicionais 
podem ser implementados ao sistema como questoes de diregao, densidade, tensao e repouso, 
acumulagao, proporgao e relagoes diversas entre duragoes e ataques. 

Uma referenda importante para a organizagao e analise de material sonoro baseada na 
analise do audio e dos eventos sonoros e a Espectromorfologia exposta por Denis Smalley. 
Particularmente os conceitos de Nivel e Foco e Textura e Gesto, investigando sua relagao com o 
processamento ao vivo e com o dialogo interativo entre instrumentos e sons eletroacusticos. 

A ideia de Nivel e Foco tern a ver com interagao e o grau de organizagao aleatoria ou 
randomica envolvido. Nesse ponto Smalley diz que "..a nos precisa ser oferecido a possibil- 
idade de variar nosso foco perceptual atraves de um registro de mveis durante o processo de es- 
cuta..". Para sobreviver a repetidas audifoes, uma obra deve possuir esse potencial focal. Uma 
musica mista para instrumentos tradicionais e eletroacustica, baseada numa estrutura aberta, 
nao deve confiar na habilidade do ouvinte para descobrir os detalhes pequenos e escondidos 
da composigao. A exploragao focal dos mveis estruturais deve permitir diferentes modos de 
conectar perceptualmente os materiais sonoros com o mesmo discurso sonoro. 

De acordo com as palavras de Smalley (Emmerson 1986), "gesto" tern a ver com trajetoria, 
com a aplicagao de energia e suas consequencias; e e complementar a causalidade. Essa ideia 
de Gesto e central a analise aqui, e o conceito de causalidade e essencial para qualquer tipo de 
projeto interativo e ira proporcionar os argumentos de um dialogo interativo onde ocorrencias 
e consequencias podem trocar seus papeis. Dentro de um trabalho eletroaciistico interativo, 
Textura e Gesto estao em fluxo constante, um como consequencia do outro. 



Capitulo 3 

Materiais e metodologia 



A pesquisa passou 3 grandes fases. A primeira fase compreendeu o aprendizado das linguagens 
computacionais e a escolha de estrategias de concatenagao entre todos elementos computa- 
cionais envolvidos. 

O sistema foi construido e deve rodar em um computador com capacidade de processamento 
de audio em tempo-real . O software sera composto com a linguagem de programagao Pure 
data acrescida de algumas bibliotecas contidas na distribuigao Pd-extended. Outras bibliotecas 
de codigo sao acrescentadas a medida em que estas garantam compatibilidade de versoes e 
portabilidade entre diferentes sistemas operacionais. 

Uma das vantagens de trabalhar com software livre e que existe uma comunidade inde- 
pendente e funcional de desenvolvedores que se dispoe a testar, apontar solugoes e validar 
informalmente perante a comunidade uma pesquisa como essa que aqui se apresenta. 

A segunda fase sera o desenvolvimento do sistema propriamente dito, com prototipagao de 
interface para usuario, diversos experimentos de estiidio onde cada parte do sistema sera testada 
individualmente e em grupo. 

A figura 3.2 representa o planejamento inicial do projeto onde podemos observar como a 
analise do audio vai ser separada nos parametros de densidade, duragoes, classes de intervalos, 
variagoes de timbre e registro. Cada parametro vai passar por uma cadeia de redes locais de 
tamanhos diferentes que vao ser agrupadas em duas redes globais tambem de tamanhos difer- 
entes. 

A terceira fase sera a fase de redagao da tese onde serao abordados todas as especificagoes 
tecnicas de como o sistema foi construido alem de uma discussao teorica sobre os limites da 
interagao homem-maquina e o estado da arte dos sistemas musicais interativos. Ao longo das 
tres fases da pesquisa serao compostas diversas pegas que explorem partes do sistema. A partir 
da experiencia passada durante o mestrado e esperado que essas composigoes revelem aspectos 
fortes e fracos do sistema e sejam uma biissola que controle o fluxo do desenvolvimento do 
sistema. 
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Performance do 
computador 
(resposta ao estimulo 
do musico humane) 



Processes -:le transfuimacao 



Figura 3.1: Diagrama geral do sistema 



3.1 Glossario 



Pitch: Termo relativo a altura das notas, em alguns modulos da pesquisa, o valor de pitch 
aparece como um simbolo da nota seguido da oitava respectiva (D4, se referindo a nota re da 
oitava central do piano). Em outros momentos o valor de pitch se refere ao parametro MIDI de 
0 a 127. Algumas fungoes convertem valores puros de frequencia em pitch. 

MIDI: E a sigla para Musical Instrument Digital Interface e descreve um protocolo padrao 
da industria, definido pela primeira vez em 1982, que permite que instrumentos musicais eletronicos 
(sintetizadores e maquinas geradoras de som), computadores e outros equipamentos eletronicos 
(controladores MIDI , placas de som, samplers) se comuniquem e se sincronizem um com o 
outro. As principais fungoes MIDI incluem comunicagao de mensagens de eventos sobre a 
notagao musical, variagao de altura, intensidade, sinais de controle para os parametros (tais 
como volume, vibrato, panning, pistas e sinais de clock (para definir o tempo)) entre dois dis- 
positivos, a fim de completar uma cadeia de sinal e produzir som audivel a partir de uma fonte 
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de som. Como um protocolo eletronico, e notavel pela sua adogao generalizada em toda a 
industria da musica. 

Envelope: E a definigao de como a amplitude de cada nota se comporta. E um termo comum 
nas especificagoes de sintese sonora e e um aspecto decisivo na construgao e definigao do tim- 
bre. Normalmente se dividem as fases do envelope sonoro em ataque, decaimento, sustentagao 
e finalizagao (ADSR). Por exemplo, o timbre de um tambor tern um ataque curto, nenhuma 
sustentagao e uma rapida finalizagao. 

Pure data (Pd): E uma linguagem de programagao visual desenvolvida por Miller Puckette 
na decada de 1990 para criar musica computacional interativa e obras multimidia. Enquanto que 
Puckette e o autor principal do programa, o Pd e um projeto open source que conta com uma 
base de desenvolvedores trabalhando em novas extensoes e funcionalidades. Ele e liberado sob 
uma licenga similar a licenga BSD. Ele roda em GNU/Linux, Mac OSX, iOS, Android e Win- 
dows. Versoes mais antigas ainda existem para FreeBSD e IRIX. Existem diversas distribuigoes 
ou "forks"de Pd, como Pd Vanilla, Pd-extended, DesireData e libpd. A principal caracteristica 
do Pd e a semelhanga da aparencia do codigo com a representagao formal do algoritmo imple- 
mentado. 

Objetos: Sao fungoes pre-compiladas que providem uma variedade de fungoes. Os objetos 
no Pd sao escritos em C e possuem uma maneira propria de especificar as entradas e saidas de 
dados para que o objeto funcione em tempo-real conectado graficamente a outros objetos. Ao 
longo do texto iremos usar uma notagao como por exemplo: [objeto _teste] para representar um 
objeto. 

Mensagens: Sao sequencias de valores, listas ou simbolos. Uma mensagem pode ser usada 
para guardar dados e funciona tambem como um botao grafico, podendo ser acionada com um 
clique de mouse. 

Caixas de numero: Normalmente sao usadas para teste, manipulafao e/ou vizualisagao dos 
dados em tempo real. Graficamente sao usadas como botoes de valor dinamico. 

Simbolos: Simbolo do tipo string. 

Comentarios: Ferramenta de documentagao local dos patchs. 

Objetos graficos: Alguns sao uteis como sliders (objetos [vsl] ou [hsl]) e botoes diversos 
como toogle (objeto [tgl]). 

Arrays: Tabelas de uma dimensao que podem ser utilizados por qualquer objeto que inter- 
prete formatos diversos, desde arquivos de audio .wav ate arquivos de texto puro. 

Patchs: Sao programas escritos em Pd. 

Sub-patchs: E um objeto que guarda uma porgao de codigo encapsulado, funciona de forma 
local, ou seja, restrito ao patch principal. 

Abstra?oes: E um patch que funciona como um objeto normal, porem escrito em Pd e pode 
agir de maneira global. Como e salvo separadamente pode ser carregado quantas vezes for 
preciso em diversos patchs. Formalmente na linguagem, uma abstragao tambem e considerada 
um objeto. 

int, float: Sao especificagoes do Pd para designar numeros inteiros e numeros decimais. 
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Biblioteca e um conjunto de objetos para determinada fungao.O desenvolvimento central do 
Pd e nos objetos de matematica e processamento de sinal de audio. Enquanto que a comunidade 
implementou diversas bibliotecas para processamento de video e sensores de controle. 

Manual do objeto: Se trata de um patch que exemplifica o uso de determinado objeto. O 
proprio editor grafico do Pd entende que um patch que tenha o nome do objeto acrescido de 
-help"e referenciado no menu dispomvel com o clique direito do mouse. Na figura 3.3 vemos 
que o objeto metro tern o manual referenciando o patch metro-help.pd acessando um menu com 
o botao direito em cima do objeto em questao. 

Sample: E uma amostra de audio, que tern suas propriedades dependentes da taxa de 
amostragem e resolugao de bits do sistema. 

Mixer: E a designagao de um controlador de volume ou intensidade de canais separados e 
independentes. 

Loop: Repetigao literal ou alterada de trechos de samples pre-gravados ou gravados no 
momento da performance. 

3.2 Idiomas comuns 

O Pd e uma linguagem de programagao completa, porem alguns aspectos triviais de linguagens 
de programagao textuais se tornam relativamente complexos e vice- versa. Dentro do escopo 
dessa pesquisa e fundamental o estabelecimento de uma metodologia de implementagao de 
alguns idiomas comuns a todas linguagens de programagao. 

3.2.1 Escrita em arrays 

3.2.2 Conexao por cabos vs [send] [receive] 

3.2.3 variaveis locais vs variaveis globais 

3.2.4 Objetos graficos GUI's, subpatchs/abstra^oes e canvas 

3.2.5 Objeto [expr] vs. sequencia de objetos 

3.2.6 Diferen^as entre mensagens de controle e fluxo de audio 

3.2.7 Amplifica^ao de audio 

3.3 Ferramentas 

Nessa segao serao brevemente expostos os motivos pela escolha de determinadas ferramentas 
para o desenvolvimento dessa pesquisa. 
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3.3.1 GNU/linux 

Durante toda a pesquisa, foi usado o sistema operacional GNU/Linux. As distribuigoes usadas 
foram Debian testing, Debian stable e Ubuntu LTS. Muitos motivos poderiam ser listados para 
justificar a escolha desse sistema operacional. Porem, gostaria de destacar a preocupagao pela 
coerencia de licengas de uso e distribuigao, entre as diversas partes que compoe a pesquisa. O 
objetivo e construir programas usando componentes de software que usem as licengas GNU/GPL, 
ou BSD. O codigo resultante dessa pesquisa tambem e licenciado sob as especificagoes da 
licenga GNU/GPL. 

3.3.2 Git 

Git e um sistema de controle de versao distribmdo, com codigo fonte livre e aberta, desenhado 
para lidar com qualquer projeto, com rapidez e eficiencia. Uma grande vantagem e a facilidade 
de colaboragao em desenvolvimento de codigo, onde outros desenvolvedores podem clonar o 
repositorio da pesquisa e realizarem "forks", ou desenvolvimentos paralelos. Isso cria uma 
situagao onde o resultado da pesquisa, em termos de programagao, se torna um elemento vivo 
dentro da comunidade de miisicos e programadores interessados em computagao musical e 
musica interativa. 

Alem da possibilidade de facil manutengao de repositorios de codigo local, muitas empresas 
oferecem servigos de hospedagem gratuita de repositorios Git na internet. A escolha desse 
controle de versao se da pelo estimulo a cooperagao e continuidade dessa pesquisa para alem 
do encerramento da tese, com a possibilidade de alguns resultados se proliferarem em outros 
projetos de pesquisa. 

3.3.3 Jack 

JACK e um sistema para o tratamento em tempo real, audio de baixa latencia (e MIDI). Ele 
roda em GNU / Linux, Solaris, FreeBSD, OS X e Windows (e pode ser portado para outras 
plataformas POSIX-conformant). E possivel conectar um niimero de diferentes aplicagoes para 
um dispositivo de audio, bem como permitindo que eles compartilhem audio entre si. Seus 
clientes podem ser executados em seus proprios processos (ou seja, como aplicagoes normais), 
ou podem eles podem ser executados dentro do servidor JACK (ou seja, como um "plugin"). 
JACK tambem tern suporte para a distribuigao de processamento de audio atraves de uma rede, 
tanto LANs rapido e confiavel, bem como mais lento, WANs menos confiavel. 

3.3.4 rosegarden 

Rosegarden e um programa de criagao e edigao musical que roda em GNU/linux. Possui diver- 
sas funcionalidades, mas nessa pesquisa e usado como sequenciador MIDI grafico, que recebe 
mensagens MIDI em tempo-real atraves do Jack. 

A vantagem e a possibilidade de editar graficamente o resultado do dialogo entre o audio 
do instrumento convertido em MIDI e o resultado dos algoritmos dos geradores MIDI e harmo- 
nizadores. O Rosegarden usa dois editor grafico em formato de piano-roll e outro em formato 
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de notagao musical. Uma sequencia MIDI editada com o Rosegarden pode ser exportada para 
o formato .ly, que e o formato do Lilypond. 

Lilypond e uma linguagem de marcagao especializada em notagao musical. Segundo a 
definigao do proprio projeto: 

LilyPond e um programa de gravagao de miisica, dedicada a produgao a partitura 
da mais alta qualidade possivel. Ele traz a estetica da miisica tradicional escrita 
para impressoes de computador. LilyPond e software livre e parte do Projeto GNU. 

O Rosegarden executa as sequencias MIDI usando um servidor de arquivos soundfont. Um 
arquivo SoundFont, ou "banco"SoundFont, contem uma ou mais amostras de audio de onda (ou 
"amostras"), que pode ser re-sintetizados em alturas diferentes e mveis dinamicos. Cada forma 
de onda amostrada pode ser associado a um ou mais intervalos de notas e dinamica. De modo 
geral, a qualidade de um SoundFont banco e uma fungao da qualidade das amostras de digitais 
e da associagao inteligente de amostras com as series do campo apropriado. A qualidade da 
soundfont tambem depende do niimero de amostras tomadas por um determinado intervalo de 
notas. 

3.3.5 Pd-extended 

O Pure data(Pd), foi a linguagem escolhida para o desenvolvimento dessa pesquisa. Existem 
diversas distributes do Pd, sendo as mais utilizadas o Pd "vanilla"e o Pd-extended. A versao 
"vanilla"se refere ao nucleo da linguagem mantida pelo criador Miller Puckette, e no momento 
de escrita dessa tese se encontra na versao 0.43. Ja o Pd-extended conta com as contribuigoes 
da comunidade de desenvolvedores e usuarios, que inclmram diversas extensoes para video, 
graficos, rede e novas funcionalidades para criagao musical. 

No atual momento, essa pesquisa depende do Pd-extended, porem, para o desenvolvimento 
futuro pretende-se que as abstragoes dependam, apenas da versao vanilla. A desvantagem de 
usar a distribuigao Pd-extended e quebraa mesma depende de muitos outros componentes de 
software, tornando uma possivel compatibilidade da pesquisa com sistemas futuros um pouco 
mais arriscada. 

3.3.6 Bibliotecas de Pd 

Alem do Pd-extended, essa pesquisa, necessita de duas outras bibliotecas, sendo elas a PDMTL 
e DIY2 (ver anexo). 

Tambem sao usados os objetos compilados em C, desenvolvidos por William Brent: 
• tabletools 



• timbrelD 
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3.4 restri^oes/limita^oes 

A motivagao inicial da pesquisa, foi criar um sistema interativo para uso com instrumentos de 
corda pingada como violao e guitarra. 

Rapidamente se evidenciou o problema da limitagao da analise de audio em tempo-real em 
relagao ao aspecto polifonico desses instrumentos. A versao atual dessa pesquisa, compreende 
interagao com instrumentos monofonicos. 

Uma possivel solugao da problematica da analise polifonica e apresentada por Puckette: 

I've been at work on a long-term project to design a rather personalized computer 
music instrument to try to bring out and confront some of the difficulties encoun- 
tered by musicians trying to use computers in live performance. The instrument is 
based on a compact electric guitar (Steinberger/Gibson) with an added six-string 
separated pickup (Roland). Not finding an inexpensive and compact 6-channel 
preamp on the market, I designed and built a very crude one. This is interfaced 
to a computer using a multichannel PCI interface (Midiman). A Pd patch, running 
in linux, then performs a variety of interesting transformations on the six audio 
signals, and mixes them to stereo for output. 

This is entirely different from standard "guitar synthesizers"which pitch track the 
strings to drive synthesizers. Such instruments make lots of audible mistakes, and 
they also suffer from the added latency the comes from the pitch tracker. In the 
instrument described here, the latency of the whole affair is only that of Pd itself, 
about 10 milliseconds (it's probably not hard to reduce it to 5 or 6 using real-time 
kernel patches but I preferred to use off-the-shelf linux). 
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Figura 3.2: Mecanismo de escuta e analise 




Figura 3.4: exemplo de escrita de audio e niimeros em arrays 
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Figura 3.5: Interface de conexao de processos do Jack 



Capftulo 4 



SInCoPA 



Na teoria musical, a sincopa e uma caracterfstica ritmica caracterizada pela execugao de som 
em um tempo fraco, ou parte fraca de tempo sendo prolongado ate o tempo forte, criando urn 
deslocamento da acentuagao ritmica. Alem de SInCoPA ser a abreviagao de Sistema Interativo 
de Composigao Performance e Analise, o termo se encaixa no sentido poetico dessa pesquisa. 
Como uma metafora, significando a busca de uma metrica nao determinada pela notagao ou por 
uma pre-concepgao de estetica musical. 

Nesse capftulo serao expostas as abstragoes desenvolvidas para o sistema, como tambem 
os prototipos e programas auxiliares desenvolvidos para explicar o uso correto das abstragoes 
apresentadas. O conjunto de abstragoes cumprem fungoes basicas necessarias a projetos de 
miisica interativa que relacionem analise de audio e geradores musicais baseados nos dados da 
analise do audio de entrada em tempo-real. 

Foi desenvolvida uma biblioteca de fungoes utilitarias em forma de abstragoes, tornando 
facil seu re-uso em outros projetos. As abstragoes se dividem em 7 categorias: 

1. Analise de audio de entrada em tempo-real; 

2. Geradores MIDI baseados no comportamento do audio de entrada, com variagoes de 
controle, indo da mimese do sinal de entrada ate um grau mais elevado de contraste 
ritmico e melodico; 

3. Geradores de sintese sonora, tambem baseados no comportamento do audio de entrada 
com diversos niveis de controle; 

4. Modulos de processamento de sinal, usados no audio de entrada e no audio gerado pela 
comunicagao MIDI; 

5. Vizualizador de notagao musical do audio de entrada e de saida; 

6. Cenarios de comportamentos interativos e Mixer de volumes responsivo; 

Uma composigao musical usando o SInCoPA, consiste na concatenagao de regras que co- 
ordenam os comportamentos das varias partes envolvidas. Esse conjunto de regras foi denom- 
inado de "cenario". Na composigao de um cenario o compositor escolhe, por exemplo, se 
determinado gerador deve ter um comportamento complementar ou contrastante em relagao a 
algum parametro de analise. 
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4.1 Analise de audio 

Nessa segao serao apresentados os problemas e solugoes especificos a analise de audio. 

E importante a flexibilizagao para a detecgao de parametros musicais. Tambem e importante 
a possibilidade de salvar os dados das analises serem destacados nas interfaces dos objetos. 

A interface grafica dos objetos preve vizualizagao em tempo-real da atividade no modulo de 
analise e botoes descritos para controle de parametros diversos. 

4.1.1 Entrada de audio 

Um elemento importante na interface e a vizualizagao instantanea do fluxo de audio. Aqui na 
figura 4.1 apresentamos uma solugao pratica e podemos ver uma outra abordagem nas figuras 

6.2 e 6.3 baseada em analise FFT. 

Objeto [sinc-audioin] 



adc- 




Figura 4.1: Entrada de audio [sinc-audioin] 

A entrada de audio no pd comega com o objeto [adc-], e sempre segue um fluxo basico que 
passa por um objeto de multiplicagao de sinal [*~] que permite um controle manual de entrada 
de audio. Esse controle e necessario para ajustar a sensibilidade dos objetos que realizarao a 
analise de audio. A abstragao [sinc-audioin] na figura 4.1 permite o roteamento e vizualizagao 
rapida de entrada de audio de dois canais. No caso dos experimentos musicais envolvidos 
nessa pesquisa, foi estabelecido o canal 1 para o recebimento de audio do programa rosegarden, 
que hospeda samplers do tipo "soundfont". O canal 2 e usado para a entrada de audio do 
instrumento. E necessario um objeto que funcione como uma chave de liga/desliga para o 
audio. Para isso foi usado o objeto [spigot-] da biblioteca "Unauthorized" inclmda no pd- 
extended. Quando o toggle([tgl]) e acionado com clique de mouse, ele envia o valor 1 pela saida 
que por sua vez esta conectado na entrada fria do [spigot-], essa agao faz com que o audio seja 
liberado pela saida do [spigot-]. Os volumes de entrada sao controlados por objetos graficos 
sliders ([hsl]), que tern a saida ligada a uma variavel de parametro para o objeto [line-]. Nesse 
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caso especifico [line-] atua no sentido de se evitar cliques no audio quando se muda o valor de 
amplitude que entra na entrada fria do objeto [*-]. Outro componente opcional, que e util em 
situagoes praticas, e um vizualizador grafico de presenga de sinal de audio. Em [sinc-audioin] 
e usado o objeto [Scope-] da biblioteca "cyclone", inclmda no pd-extended. 

4.1.2 Manipula^ao de amostras 

Dentro do contexto de laboratorio de prototipagao, se faz necessario emular uma entrada de 
audio em tempo-real com a execugao de trechos de audio sampleados ou um sintetizador sim- 
ples com entrada de notas pelo teclado alfa-numerico do computador. Nesse sentido foram 
constrmdas algumas abstragoes para facilitar o processo de desenvolvimento e teste. 



Objeto [sinc-sample] 




Figura 4.2: [sinc-sample] 

A primeira a ser desenvolvida foi a abstragao [sinc-sample] mostrado na figura 4.2. Para essa 
abstragao foi escolhida a abstragao grafica [file.browser] na area 1 circulada na figura 4.2 que 
le os arquivos de determinado diretorio e lista eles graficamente possibilitando que o usuario 
clique no nome do arquivo escolhido, resultando em uma mensagem com a localizagao do 
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arquivo. Essa abstragao faz parte do pacote "pdmtl" de abstragoes de pd. A execugao do audio 
e feita com o objeto [readsf-] que precisa de tres mensagens: start, stop e localizagao do arquivo. 
O mecanismo grifado na area 2, mostra um objeto [trigger] ([t]) realizando uma tarefa em 3 fases 
da direita para a esquerda: 

• Aciona a mensagem com o caminho do arquivo a ser tocado 

• Aciona a mensagem "start" 

• Recarrega a mensagem que atualiza o diretorio a ser lido por [file.browser] 

Outro aspecto dessa abstragao e a possibilidade de tocar um arquivo de audio em loop. Na 
area circulada 4 temos um [spigot] que atua como interruptor de um bang enviado pela saida 
direita de [readsf-], que por sua vez e enviado quando [readsf-] acaba de ler o arquivo inteiro. 
Se o toggle que esta conectado com o [spigot] da area 4 estiver ligado, ele permite que o bang 
enviado ao final da leitura seja roteado para outro objeto trigger que aciona as duas primeiras 
fases descritas acima, realizando uma leitura continua do arquivo de audio escolhido. 

4.1.3 Analise melodica 

Existem diversos problemas de pesquisa relacionados com a analise melodica como por exem- 
plo: 

• Detecgao de notas; 

• Estimativa de nota; 

• Conversao de fluxo de audio em dados semanticos (MIDI); 

• Permeabilidade melodica; 

• Analise de contorno e direcionamento melodico; 

Objeto [sinc-audioanalise] 

Um dos fatores mais importantes para a pratica de analise melodica em tempo real e a flexi- 
bilidade de refinamento dos parametros de analise. Esses parametros devem estar ao alcance 
rapido e documentados e sinalizados na interface. 

Nessa abstragao procurou-se desenvolver uma interface que facilite a rapida prototipagao e 
flexibilidade de parametros que podem se adaptar facilmente para diferentes fontes sonoras. 

Como podemos ver na area 1 da figura 4.3, temos o controle de um slider vertical 1 con- 
trolando a amplitude geral do audio de entrada. Esse controle e muito importante em situagoes 
em que se tern variagoes de amplificagao entre ensaios e performance. 



Objeto [hslider] 
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Figura4.3: [sinc-audioanalise] 



Na area 2 aparece um subpatch que pode ser visto na figura 4.4. Nesse subpatch podemos 
ver a organizagao dos parametros do objeto [sigmund-]. 

O objeto [sigmund-] faz analise de audio no dominio da frequencia e detecgao de notas. Os 
parametros podem ser re-definidos em tempo-real atraves dos argumentos de criagao do objeto 
ou atraves de mensagens como e o caso aqui. 

Segundo a documentagao no proprio manual do objeto: 

Sigmund-analyzes an incoming sound into sinusoidal components, which may be 
reported individually or combined to form a pitch estimate. Possible outputs are 
specified as creation arguments: 

• pitch - output continuously 

• notes - output pitch at the beginning of notes 

• env - output amplitude continuously 

• peaks - output all sinusoidal peaks in order of amplitude 

• tracks - output sinusoidal peaks organized into tracks 

Parameters you may set (in cretaion arguments or messages): 



• npts - number of points in each analysis window (1024) 

• hop - number of points between each analysis (512) 
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statoletime - tempo (msec) para esperar para reportar notas (50) 
minpower - potencia minima (dB) para reportar classe de notas (50) 
growth - evolugao de amplitude (dB) para reportar uma nota nova (7) 

Figura 4.4: sub-patch que controla as configuragoes de [sigmund-] 

• npeak - number of sinusoidal peaks (20) 

• maxfreak - maximum sinusoid frequency in Hz. (1000000) 

• vibrato - depth of vibrato to expect in 1/2 tones (1) 

• stabletime - time (msec) to wait to report notes (50) 

• minpower - minimum power (dB) to report a pitch (50) 

• growth - growth (dB) to repor a new note (7) 

The npts and hop parameters are in samples, and are powers of two. 

Nesse caso optou-se por pre-inicializar [sigmund-] com as opgoes : -hop 4096 pitch notes". 
Atraves de testes empiricos preferiu-se usar apenas a saida de "notes"por apresentar uma saida 
mais precisa para notas musicais. A mensagem em destaque na figura 4.4 representa a inicializagao 
dos valores de todos parametros de [sigmund-]. 

Os principais parametros definem o tamanho da janela de analise. Nesse caso "npts"e 
"hop"tem uma relagao direta por se tratar do tamanho da janela de analise e o espago entre 
as janelas em samples como pode ser visto na figura 4.5. 

Na area 3 vemos o objeto [round], presente na biblioteca RTC, responsavel por arredondar 
o valor de entrada para cima. O arredondamento e feito com a soma de 0.5 e transformagao do 
niimero do tipo float para tipo inteiro ([int]), como pode ser visto na figura 4.6. 
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Figura 4.5: Tamanho de janela de analise (npts) 
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Figura 4.6: [round] 
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Figura 4.7: [pitch] 



O objeto [pitch] pertence a biblioteca maxlib, distribuida junto com o pd-extended e sua 
funcionalidade pode ser vista no proprio help do objeto na figura 4.7. A interface grafica de 
[sinc-audioanalise] mostra o pitch da nota detectada em tempo-real. A vizualizagao e feita 
com o objeto canvas ([cnv]). A segunda saida do objeto [pitch] retorna um simbolo com a 
cifra e oitava da nota. Esse simbolo e enviado para o canvas com o metodo "labeF'atraves da 
variavel $0-nota. O objeto canvas aceita variaveis enviadas com o objeto [send], editando as 
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Figura 4.8: editando objeto canvas ([cnv]) 



propriedades do canvas (ver figura 4.8). A vizualizagao em tempo-real e indispensavel para 
calibrar a analise de audio. 

Na area 4 vemos o objeto [bonk-] 

Na area 5 vemos o objeto [env~]. Esse objeto recebe um sinal de audio e retorna a am- 
plitude RMS em decibeis (com o valor 1 normalizado para 100 dB). A saida tern o limite 
inferior em zero. O algoritmo de analise interna de [env~] usa uma janela de analise do tipo 
"Hanning"(raised cosine). Uma boa aplicagao de [env~] e mandando o resultado da saida para 
o objeto [dbtorms] que transforma os valores em decibeis em uma escala linear, que e uma 
distribuigao melhor para vizualizagao grafica da variagao de amplitude. 

Na area 6 vemos um subpatch responsavel por detectar silencio. Na figura 4.9 

Nesse sub-patch vemos 4 sub-areas. Nessa implementagao esta sendo usada apenas a ter- 
ceira saida que e a saida do modulo de detecgao de silencio. O modulo da sub-area 3 ba- 
sicamente compara as amplitudes que recebe com relagao ao tempo. Nesse algoritmo, se a 
amplitude de entrada for menor que 45 dB durante mais de 100 milisegundos um silencio e 
detectado. 

4.1.4 Analise ritmica 

Se considerarmos que um evento sonoro pode ser descrito por um espago multidimensional 
onde cada parametro seria uma dimensao (notas, registros, timbre, etc.), podemos imaginar o 
ritmo como uma outra multidimensao paralela e sincronizada com as outras. O aspecto ritmico 
de um evento sonoro pode ser descrito por: 

• relagoes de duragoes entre ataques de notas; 
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Figura 4.9: sub-patch que detecta silencio no audio de entrada 

• relagoes de acento (amplitude) entre ataques de notas; 

• densidade de eventos em recortes de tempo; 

• descrigao de indices de estabilidade em diferentes recortes temporais; 

Todos esses niveis se entrecruzam para formar um cenario que pode explicar mais detal- 
hadamente os elementos ritmicos de um evento sonoro. O objetivo dessa segao e apresentar o 
desenvolvimento de ferramentas para a analise das multiplas camadas de descrigao do ritmo. 

Aqui apresentar exemplos com formas de onda em arrays e mostrando na figura onde e mais 
denso, onde e mais instavel e hierarquia de intensidade em trechos. 

Mostrar tambem trechos maiores com indices de estabilidade. 
Objeto [sinc-calcritmo] 

Uma das questoes perseguidas e o fato do sistema ter conhecimento do atual nivel de estabil- 
idade ritmica. Isso pode ser alcangado por uma relagao que considere variagoes de pulso e 
alternancia e variagoes de padrSes ritmicos de tamanhos diferentes. 

Na 4.10 e mostrado dois arrays, idealmente esses arrays representam tabelas de probabil- 
idades de padroes ritmicos, onde cada elemento no array representa um padrao diferente e 
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arrayl 



array 2 



tabdump arrayl 




1.81429 1.88572 2.02858 8.38576 2.52858 6.0286 2.31429 4.56282 5.0771 5.01281 4.88424 4.94853 4.81996 4.56282 

1.95715 2.02858 1.95715 4.56282 4.56282 4.6271 



Figura 4.10: analise de estabilidade ritmica 



quanto mais alto significa que teve mais ocorrencias. Por exemplo, cada vez que um determi- 
nado padrao de 4 valores de duragao e tocado, o indice na tabela correspondente a aquele padrao 
e incrementado. O objetivo ideal e um mecanismo que possa retornar uma resposta do tipo: "o 
arrayl e mais estavel que o array2". Apenas olhando fica facil de identificarmos no arrayl que 
os padroes 3 e 5 tern mais probabilidade de ocorrer pelo seu historico, contribuindo assim para 
uma sensagao de estabilidade ritmica. Enquanto que o array2, tern probabilidades proximas de 
quase todos padroes criando uma sensagao de imprevisibilidade e fragmentagao. 

No patch da 4.11 e apresentado um metodo de classificagao de estabilidade de sequencia 
de pulsos. Primeiro sao calculadas as distancias entre cada ataque sonoro, depois filtrado em 
[pd filter-range] e colocado em uma tabela dinamica em [pd last-x]. O tamanho da tabela sem- 
pre pode ser redimensionado em tempo-real atraves da variavel 0-buffer-size entao e calculado 
ao mesmo tempo a media geometrica e a media aritmetica e os resultados sao executados na 
expressao definida por uma divisao da media geometrica pela media aritmetica. Ao resultado 
dessa divisao e aplicado um filtro com [moses] onde se pode calibrar a sensibilidade do valor 
do indice final. 

A tecnica basica de analise ritmica em Pd, se da atraves do uso do objeto [timer]. O objeto 
[timer] mede a distancia em milisegundos entre "bangs' que chegam pela entrada da esquerda 
em relagao ao que chega pela entrada da direita. 

Um musico humano sempre realiza micro- variagoes de tempo e andamento. Na figura 4.16 
vemos uma incidencia de ataques mantendo uma relagao de estabilidade de duragoes. Enquanto 
que na figura 4.17 vemos uma relagao mais instavel entre as duragoes. Ja na figura 4.18 vemos 
um padrao que se mantem estavel e muda para um comportamento de instabilidade de duragoes. 
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Um dos desafios da pesquisa foi estabelecer uma forma do programa conseguir classificar a 
estabilidade de cada nova duragao em relagao as anteriores. 

No patch da figura 4. 12 e apresentado um metodo de classificagao de estabilidade de duragoes 
entre notas. Primeiro sao calculadas as distancias entre cada ataque sonoro, depois filtrado em 
[pd filter-range] e colocado em uma tabela dinamica em [pd last-x]. O tamanho da tabela sem- 
pre pode ser redimensionado em tempo-real atraves da variavel O-buffer-size entao e calculado 
ao mesmo tempo a media geometrica e a media aritmetica e os resultados sao executados na 
expressao definida por uma divisao da media geometrica pela media aritmetica. 

A divisao da media geometrica pela media aritmetica pode ser definida pela expressao 

n\/al.a2....an 
al + a2 + ...an 

Essa expressao e calculada a cada nota que chega, onde neo tamanho do buffer. O resultado 
desse calculo devolve um valor numa escala de 0 a 1. Esse valor representa o indice de instabil- 
idade ritmica da ultima duragao entre 2 notas, comparado com as ultimas 'Vduragoes. Nesse 
resultado dessa divisao e aplicado um filtro com [moses] onde se pode calibrar a sensibilidade 
do valor do indice final. 
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Figura 4.12: analise de estabilidade ritmica 




Figura 4.13: filtro de registro de duragoes 



Objeto [sinc-densidade] 

O que e densidade ritmica e para que serve. 

Os primeiros passos na implementagao desse mecanismo podem ser vistos na 4.19, onde na 
area central, aparecem um leitor de samples [tabplay-] lendo um arquivo de audio e enviando 
o fluxo de audio para o objeto [bonk-]. A saida de [bonk-] e filtrada pelo objeto [moses] que 
pode ter um niimero de corte variavel, sendo flexivel a diferengas de volume em diferentes 
momentos,lugares ou fontes sonoras . 
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Figura 4.14: lista de duragoes 




Figura4.15: media geometrica 



Ainda na 4.19, a segao da esquerda mostra uma maneira de classificar as duragoes entre 
ataques de notas em longas ou curtas, possibilitando uma classificagao basica, que vai possibil- 
itar a criagao de padroes ritmicos de combinagoes entre longos e curtos. Nesse caso tambem o 
limite entre longo e curto e dado por [moses] que pode ser redimensionado em tempo-real. 

Na 4.20 vemos o conteiido interno do sub-patch [densidade_ritmica], onde e realizadas con- 
tagens de quantos ataques de eventos sonoros acontecem a cada 2 segundos de tempo. Densi- 
dade ritmica e um bom indice global de controle dos eventos sonoros por um instrumentista. 
A maneira de uso desse indice se transforma de um controle ritmico pratico para um musico 
treinado. 



4.1.5 Analise de timbre 

FFT 

FFT e a sigla para Fast Fourier Transformation, eea principal tecnica para realizar uma analise 
no dominio da frequencia. No Pd encontramos o objeto [rfft~] que permite o acesso aos dados 
completos da analise do espectro sonoro. Nessa segao sera apresentada uma introdufao sucinta 
a analise FFT no Pd e a manipulagao dos dados resultantes dessa analise. 
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tabwrite- arrayl 



arrayl 
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tabplay- arrayl 





dac~ 
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timer 



384 

n ist 



prepend add2°set 




Figura 4.16: ritmo estavel 

Uma explicagao mais aprofundada da FFT no Pd e visto no apendice . 

* resumo rapido de FFT crua , acessando, visualizando e salvando e recuperando 

[bonk-] 

* Bonk e tutorial de "learning"do bonk 
timbrelD 

Quando se acessa aos dados puros da analise FFT precisamos de metodos especificos para 
filtrar esses dados. Uma densa bibliografia tern sido desenvolvida sobre algoritmos de busca 
e filtragem de dados de analise FFT. Cada algoritmo e especializado em algum aspecto, seja 
de estimativa de frequencia fundamental, ou de composigao fisica da fonte sonora, como por 
exemplo, estimativa do tamanho do corpo ressonante de determinada fonte. 
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timer 
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list 





762.6 714.7 130 248 525.3 



prepend add2°set 



I 



Figura 4.17: ritmo instavel 



Nese sentido, alem dos dados puros da FFT feita com o objeto [rfft~], destacamos duas bib- 
liitecas externas de Pd que compreendem diversos algoritmos diferentes de analise. A primeira 
e a XXX desenvolvida por Adriano xxx e se tratam de abstragoes de Pd que usa apenas objetos 
Pd "vanilla"e por isso possui um grande poder de compatibilidade com diversos projetos. A 
segunda biblioteca e a timbrelD desenvolvida por William Brent e compreende uma serie de 
objetos implementados em C e possui uma boa eficacia em processamento. 

Uma das vantagens da timbrelD e a flexibilidade de parametrizagao. A biblioteca e dividida 
entre objetos externos para implementagao de cada algoritmo e um objeto responsavel pela 
classificagao dos resultados dos algoritmos. O objeto de classificagao (timbrelD) aceita listas de 
caracteristicas timbristicas e tenta encontrar a melhor correspondencia entre cada caracteristica 
do audio de entrada e instancias estocadas dos dados treinados. 

Listas de caracteristicas mandadas para a entrada da esquerda sao processadas pela fungao 
"train"(em formato de mensagem). Isso fornece exemplos das caracteristicas que sobre as quais 
futuras comparagoes serao baseadas. Uma vez que uma base de dados de treinamento e criada, 
ela pode ser salva em um arquivo .timid com o metodo "write", e mais tarde recuperado com o 
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sinc-audioin 

Eg? Of 



bang °stop 
tabwrite- arrayl 



tabplay- arrayl 
dac~ 




626.67 589.33 626.7 624 1090.6 474 130565.3 



prepend add2°set 

r -L 



Figura 4.18: ritmo estavel e instavel 



metodo "read". Outros formatos de saida sao .txt, .mat (para uso com os programas MATLAB 
ou Octave) e ARFF (para uso com o ambiente WEKA). 

A segunda entrada do objeto [timbrelD] recebe listas de caracteristicas que sao compara- 
das com aquelas no banco de dados do treinamento e uma correspondencia e identificada. As 
instancias de correspondencia sao distinguidas pelo indice, por isso, se a correspondencia mais 
proxima for o indice 7, o niimero 7 vai aparecer na primeira saida da esquerda. 
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Figura 4.19: captagao de ataques com [bonk-] e categorizagao entre "curtos" e "longos" 

4.2 Analise Humdrum 

Dentro de um projeto de musica interativa, sao necessarias informagoes quantitativas quanto 
a variagao de parametros musicais pelo miisico, como por exemplo quais acordes foram mais 
usados nos ultimos 12 compassos. Nesse sentido o Humdrum e uma boa plataforma de analise 
simbolica de estruturas musicais. Nesse prototipo, procuramos investigar de que maneira podem 
se conectar as duas linguagens com vizualizagao de dados em Gem. Na 4.24 mostramos a visao 
geral da interface e controle do prototipo, com a opgao de se carregar um arquivo midi, que 
pode ser substituido por arquivos midi gerados em tempo real durante uma performance. 

Parseando strings no Pd 

O parser funciona em 3 instancias: 

1) Abre-se um arquivo midi com o objeto [openpanel] atraves de uma janela de dialogo, 
o path do arquivo substitui a variavel dolar 1 como argumento para o programa mid2hum que 
converte arquivos midi para o formato kern (.krn), usado pelo humdrum. 

midi2hum $1 > m2h.krn 

O codigo acima e formatado numa mensagem e enviado ao objeto [shell] onde converte o ar- 
quivo midi e envia o resultado para um novo arquivo chamado m2h.krn. 

2) Nessa etapa e onde se aplica os comandos do humdrum ao arquivo gerado. No caso o 
comando 
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Figura 4.20: sub-patch [densidade ritmica] 

census -k m2h.krn > m2h.txt 

traz diversas informagoes sobre o arquivo enviadas para um arquivo de texto como por exemplo: 

HUMDRUM DATA 



Number 


of 


data tokens: 


2510 


Number 


of 


null tokens: 


0 


Number 


of 


multiple-stops : 


470 


Number 


of 


data records : 


2511 


Number 


of 


comments : 


817 


Number 


of 


interpretations : 


301 


Number 


of 


records : 


3629 
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mag- spec-graph 



bark spec-graph 



bf cc-graph 






Brightnes s 



>0. 313 



Cent roid 



Flatnes s 



>4659. 1 |)0.227 



Kurt o sis 



>3. 081 



Rolloff 



Skewness 



>17032 1 |>1 i 614 



Zero-crossing 



^38" 



□ open- 



file 



Scrub-bar 



Irregularity 



>0 i 547 



Master-volume 

I 



Position (milliseconds) 



>6697 . 55 



pd pvoc- 


-controls 




pd dsp 




pd analyses 



KERN DATA 



Figura4.21: audio-features 



Number of note-heads 
Number of notes : 
Longest note: 
Shortest note: 



2491 
2209 
2 

384 
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™pen training.wav 

. wav H 





Test with the given training/testing; 
recordings or try direct microphone; 
input via adc~. Turn on the "train"; 
or "id" spigots below to get started. 



Open this subpatch foi 
pd long-winded-introd" 



Many more details i 



write feature-db . timid : 
read feature-db . timid 



Detect onsets with bonk- 
pd onset 




Read & write feature 



Perform hierarchical clustering to find a gj 
clusters (i.e. instruments) . See arcane_pars 
above for manual clustering. 



cluster 12 
uncluster 



Go back to reporting raw ins1 



a Forget the last instance. Se 

orge multiple instances. 



clear Wipe all instances to start 



See bfcc- helpfile. 
bfcc- 1024 0.5 




0 



print timbre 



pigot^\ J^ | id 



First outlet reports the; 
index of the nearest; 
match instance, or, if; 
clustering has been; 
performed, the index of; 
its associated cluster. 



During training, the first; 
outlet reports the number; 
of training instance that; 
have been received. 




Second outlet : 
distance to th< 
match . 



Figura 4.22: timbrelD 



Highest note: 


gggg# 


Lowest note: 


FFF 


Number of rests: 


310 


Maximum number of voices: 


4 


Number of single barlines: 


237 


Number of double barlines: 


0 
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adc~ 

!-■*] 



ang to output BFCCs as a list. 



bang- Bang repeatedly. . . 
spigot ^x j^ | 



Change analysis window size, 
window 204S 




Change windowing function.; 
Blackman, Cosine, Hamming, ; 
or Hann. Hann is the default. 



window_f unction $1 



power_spectrum $1 

Use power spectrum rather than; 
magnitude spectrum to compute BFCCs. 



normalize $1 

Normalize spectrum before BFCC; 
computation. Default: ON. 



filterbank 1 



Construct a new filterbank; 
with arbitrary Bark spacing. 



Send list of BFCCs to the classification external. 

See timbrelD helpfile: 

t imbrelD 



list prepend 0 

E | 

s bfcc-graph 



Bark-frequency cepstrum is actually n 
cepstrum. The most significant diffei 
on lower spectral content and the use 
an FT in the final step of the proces 
a bang, it spits out the BFCCs for tl 
window as a list.; 

This list can be sent to the timbrelE 
identify percussive timbres in real t 



Audio buffer 
external, so 
You can set 
change it wi 
argument spe> 
can also be 
The default 
vector regar 
normalized t 
always have 



ing and windowing are tak 
there is no need for tat 
the window size with a ci 
th the "window" message, 
cifies the Bark-spacing c 
changed later with the "f 
half-Bark spacing produce 
dless of window size. BFC 
o be between 0 and 1, anc 
value of 1.0. 



bfcc-graph 




Figura 4.23: bfcc 



3) Nessa parte expomos um metodo de navegar e procurar por informagoes no arquivo de 
texto. O codigo usado como modelo, esta assinalado na figura 4.25. O arquivo m2h.txt e 
lido pelo objeto [msgfile] e envia uma lista com todo conteudo do arquivo para os objetos 
[list-find] e [list-seek]. Em [list-find] podemos procurar por um simbolo especifico dentro da 
lista e nos retorna a posi$ao do simbolo. No caso do codigo assinalado, vemos o simbolo 
"notes:" , porem como desejamos o valor de "notes:" pegamos a posigao de "notes:" na lista 
e adicionamos um niimero para acessar o lugar do valor de "notes:" na lista. Essa posigao 
e enviada para [list- seek] que retorna o valor ou simbolo na posigao desejada. Como teste 
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-> abrir um midi 



openpanel 

L I 




> comandos humdrum 



O cria 

j^j destroi 
j^| desliga 



Gem 



j^| le exemplo 

|^j notas 
vozes 



symbol 



parser 



3 



Figura 4.24: interface 



escolhemos os parametros "notes:" e "voices:", respectivamente niimero de notas e niimero de 
vozes encontradas no arquivo. 

Visualiza^ao com GEM 

Os valores de niimeros de notas e niimero de vozes sao visualizados com objetos da bib- 
lioteca Gem (Graphics Environment for Multimedia). No caso os 2 parametros sao enviados 
para 2 cubos 3D onde os valores sao lidos como valores de tamanho dos cubos. 

Nesse prototipo, mostramos uma metodologia simples de unir duas linguagens muito us- 
adas em pesquisa de miisica. Essa metodologia e uma maneira clara de como acessar outra 
linguagem dentro do Pd enriquecendo as possibilidades da linguagem. 
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Figura4.25: parser 



4.3 Geradores MIDI 



Durante a implementagao dos geradores de material musical, procurou-se aliar tecnicas de 
composigao algoritmica com o resultado das analises do audio de entrada. 

A ideia de ter uma colegao de geradores, capazes de imitar elementos da performance hu- 
mana. A analise do audio tenta fazer uma descrigao da performance e essa descrigao e enviada 
aos geradores, mediados pelo cenario de interagao. Nesse sentido as analises alimentam os 
parametros dos geradores, conduzindo o comportamento dos mesmos. 

Notadamente alguns trabalhos tern influenciado bastante o desenvolvimento dos geradores, 
servindo de ponto de partida para a implementagao. Como por exemplo a biblioteca RTC 2 e o 
metodo MEPSOM 3 , alem de alguns objetos das bibliotecas PDMTL e Rj. 

Miisicos frequentemente separam os aspectos ritmicos, melodicos e de dinamica quando 
estudam performance ou compoe. E comum um instrumentista executar um mesmo perfil 
melodico em diferentes combinagoes rftmicas e com articulagoes diferentes. Muitos metodos de 
educagao musical comegam com exercicios ritmicos para depois incluir exercicios melodicos. 
Ao implementar os geradores midi nessa pesquisa, levou-se em conta esses aspectos e decidiu- 
se manter a separafao entre os dominios do ritmo, melodia e dinamica. Criando uma relagao 

2 A biblioteca RTC {Real-Time Composition foi desenvolvida pelo compositor Karlheinz Essl em MAX, a re- 
implementacao em Pd foi feita por Frank Barchnet, poderemos ver uma visao mais geral das funcionalidades dessa 
biblioteca no apendice 

3 MEPSOM (Metodo de Ensino de Programacao Sonica para Musicos) desenvolvido por Eloi Fritsch e um 
metodo que ensina composigao algoritmica no ambiente MAX. Alguns exemplos de MEPSOM foram portados 
para Pd e podem ser vistos no apendice 
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Figura 4.26: GEM 



de funcionamento desses geradores, possibilitando uma expansao organizada de tecnicas de 
geragao. Na implementagao de Sincopa, projetamos 3 objetos que trabalham juntos para gerar 
dados midi: 



sinc-gera_ritmico 
sinc-gera_melodico 
sinc-gera_dinamica 

Cada um desses objetos gerencia algumas tecnicas de geragao algontmica. E possivel qual- 
quer combinagao entre esses tres objetos. A combinagao entre os diversos geradores se da na 
relagao entre a analise do audio de entrada e a escolha de um cenario de interagao. 

A manipulagao de dados midi compreende algumas tecnicas bem estabelecidas no Pd. A 
geragao de notas midi e realizada com o objeto [makenote] que formata dados de entrada em 
notas midi, fornecendo as mensagens "noteon"e "noteoff baseado no valor de duragao. As 
entradas e saidas midi sao feitas com os objetos [notein] e [noteout] respectivamente. O objeto 
[seq] grava e manipula arquivos do tipo midi, porem, os parametros das mensagens midi podem 
ser facilmente escritos em arrays e listas para entao serem manipulados. 

Na figura 4.29 vemos no patch a esquerda, o fluxo de entrada de audio do objeto [sinc- 
audioin], sendo analisado pelo objeto [sinc-audioanalise] e posteriormente sendo convertido 
para mensagens midi com auxilio dos objetos [makenote] e [noteout]. Podemos observar ainda 
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loadbang 




Figura4.27: GEMtexto 



a dinamica sendo convertida de decibeis (distribuigao exponencial) para RMS (distribuigao lin- 
ear) com o objeto [dbtorms]. Apos essa conversao, o valor da dinamica e convertido para uma 
escala midi de 0 a 127. Para isso e usado o objeto [scale.linear] da biblioteca "pdmtl". O valor 
de duragao das notas e determinado pelo objeto [timer] que recebe uma mensagem (bang) a cada 
detecgao de ataque e de silencio. No panorama geral da figura4.29 vemos o Pd mandando men- 
sagens midi em tempo-real para o programa Rosegarden, usando conexao midi do programa 
Jack. 

4.3.1 Geradores ritmicos 

No atual estagio da pesquisa, foi implementada uma abstragao grafica que gerencia a atividade 
de quatro geradores ritmicos. Dessa maneira se torna facil de administrar durante uma perfor- 
mance e tambem se mantem a flexibilidade de expandir para quantos geradores diferentes se 
queira. A interface pode ser vista na figura 4.30 

Gerador ritmico imitativo 

No patch da figura 4.31 vemos um gerador de 

Ritmo baseado em varia§oes 

Na figura 4.32 vemos um gerador ritmico que compoe novas sequencias ritmicas a partir de 
variagoes da tabela de duragoes. 

Essas variagoes podem ser: 




numero de notas 2209 nu 
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Figura4.28: gemwin 
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Figura 4.29: Conversao de audio para notas midi 
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Figura 4.30: Objeto [sinc-gera_ritmico] 



inlet 




Figura 4.31: subpatch [pd gerador-ritmicoO] de [sinc-gera_ritmico] 
Movimento browniano como gerador de dura^oes 

O terceiro gerador e mostrado na figura 4.33 e realiza uma combinagao entre os objetos [table- 
tool] e [brown-rhythm]. 



56 




Figura 4.32: Gerador ritmico baseado em probabilidades de duragoes 

O objeto [tabletool] 4 permite que se f again operagoes matematicas recursivas e analise em 
arrays de mimeros. 

Nesse caso, [tabletool] e responsavel por informar os valores mmimo e maximo de duragoes 
de tempo entre notas, que estao armazenados no array $0-ritmojmanip, enviando esses respec- 
tivos valores como variaveis [s min_ritmo] e [s max_ritmo] para o gerador de duragoes [brow- 
rythm]. 

4 Objeto externo desenvolvido em C por William Brent e compilado e testado no ambiente de desenvolvimento 
dessa pesquisa 
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Figura 4.33: Gerador ritmico baseado em movimento browniano 
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Figura 4.34: brow-rythm 



O objeto [brown-rhythm] esta presente na biblioteca RTC e se trata de um gerador de 
duragoes baseado em movimento brownianof'Brown motion" 5 ) 



5 movimento browniano e um modelo que descreve o movimento aleatorio de particulas macroscopicas num 
fluido como consequencia dos choques das moleculas do fluido nas particulas. Esse nome e devido ao botanico 
Robert Brown, que observou minusculas particulas dentro dos vacuolos dos graos de polen executando um movi- 
mento agitado. Repetindo o experimento com particulas de poeira, ele foi capaz de definir que o movimento se 
deu devido as particulas estarem "vivas", embora a origem do movimento ainda estivesse para ser explicada. O 
cientista que explicou corretamente esse movimento, propondo que a energia fosse constituida de particulas, foi 
Albert Einstein, em 1905. Movimento browniano e um dos modelos mais usados de processos estocasticos (ou 
probabilisticos) sobre tempo continuo. 



58 



in_ED max_ED ED-values brownian_f acto 




533. 67 

raw.index chosen_ED 



QT-PercPlayer 



1993-94 by Karlheinz Essl 



Figura 4.35: Funcionamento basico de [brow-rhythm] 



O funcionamento basico aparece na figura ??. No manual de [brown-rhythm] aparece uma 
explicagao mais detalhada. 



Generates a brownian-movement-like rhythm of a geometrical row of entry delays 
(ED) and a certain number of ED-values. The brownian factor determines the dis- 
tance between two succeding rhythmical values. A factor of 0 produces a periodic 
rhythm, where a factor of 1 output random values of the given range. 



Na figura 4.34 vemos como [brown-rythm] e construido internamente. Nota-se em destaque 
os principais objetos envolvidos na construgao de [brown-rhythm]. Basicamente, o objeto 
[brownian] e uma implementagao de distribuigao de Brown no Pd. E [trans-log] e um objeto 
que realiza uma transigao logaritmica entre niimeros. 



min max brownian_f actor 

"o "o "o 
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bro- 

1 



0 result 
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Figura 4.36: Funcionamento de [brownian] 



Podemos ver o funcionamento basico do objeto [brownian] acessando seu manual (figura 
4.36. A saida desse objeto retorna niimeros randomicos entre o minimo ("min" (int, float)) e 
o maximo ("max"(int, float)). A distancia entre dois niimeros randomicos e determinada pelo 
fator de brown (float entre 0 e 1). Quando esse fator e 1, [brownian] se comporta como um 
gerador randomico ordinario (objeto [random] por exemplo). Quando o fator e 0, o mesmo 
niimero sempre e repetido. 

E possivel comparar diferentes comportamentos de [brownian] observando a figura 4.37, 
onde vemos tres objetos [brownian] com os mesmos parametros de inicializagao, cada um es- 
crevendo os resultados em diferentes arrays de 50 elementos. A linica diferenga entre os 3 
esta no fator de brown, assinalado em rosa (0.01 , 0.1 e 0.5 respectivamente). Musicalmente, 
um baixo fator de brown aplicado a duragoes entre notas possibilita a emergencia de padroes 
ritmicos bem estabelecidos com pequenas variagoes. Quando aumentamos gradualmente o fator 
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Figura 4.37: objeto [brownian] com diferentes valores de fator de brown 

de brown, ouvimos uma transigao rumo a uma instabilidade ritmica e a quebra de padroes. O ob- 
jetivo desse gerador e se aproximar da performance do miisico real. O objeto [sinc-audioanalise] 
analise o audio de entrada estimando os valores de duragao entre notas. Esse valores sao en- 
viados a [sinc-calc_ritmo] que faz uma estimativa do grau de instabilidade, como explicado na 
pagina 4.12 (como faz pra ref a pagina?). O grau de instabilidade ritmica influencia direto o 
comportamento do fator de brown, de acordo com a definigao do cenario de interagao a que se 
propoe. O cenario pode definir, por exemplo, que um ritmo estavel do musico (baixa instabili- 
dade), provoque um comportamento ritmico instavel do gerador (fator de brown alto). 

Na figura 4.38 vemos a composigao interna do objeto [brownian] onde temos elementos gri- 
fados com a cor verde e outros com a cor rosa. Se trata de duas partes distintas do patch, a parte 
com a cor verde, representa o controle dos parametros do objeto [drunk] que e a implementagao 
de um modelo de random-walk no Pd. A area destacada em rosa mostra uma sequencia de 
objetos que escalonam o resultado dentro da amplitude de valor minimo ($1) e maximo ($2). 

O objeto [drunk] pertence a biblioteca Cyclone, que tern como objetivo implementar objetos 
compativeis entre Pd e MAX. O objetivo de [drunk] e retornar niimeros randomicos dentro de 
uma escala variavel. A distancia entre cada niimero randomico e definida pelo valor da terceira 
entrada de [drunk]. Essa variavel define o maior niimero de passos possivel entre dois resultados 
de [drunk]. Podemos ver na figura 4.39 que temos dois objetos [drunk] sorteando 16 valores de 
0 a 10 com a diferenga do niimero de passos, com 6 (destaque em verde) e 2 (destaque em rosa). 

Os objetos [brownian] e [drunk] sao muito liteis para a composigao interativa por permi- 
tirem a variagao dos parametros do algoritmo em tempo-real. Essa funcionalidade e usada em 
SINCOPA em outros geradores melodicos e de dinamica. 
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Figura4.38: [brownian] 
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Figura 4.39: exemplo de funcionamento de [drunk] 



Gerador ritmico polifonico 



O gerador da figura 4.40 e baseado no objeto [repchord-rhythm] da biblioteca RTC. O objetivo 
desse objeto e ter um gerador com capacidade de controle dos parametros da polifonia. 

O objeto [repchord-rhythm] e um gerador ritmico polifonico cujas taxa repetigao e densi- 
dade do acorde sao dependentes dos graus de periodicidade de duragoes minima e maxima entre 
notas. 
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Figura 4.40: Gerador rftmico randomico 

4.3.2 Geradores melodicos 

Da mesma maneira que os geradores ritmicos No atual estagio da pesquisa, foi implemen- 

tada uma abstragao grafica que gerencia a atividade de quatro geradores melodicos. Dessa 
maneira se torna facil de administrar durante uma performance. E tambem se mantem a flexi- 
bilidade de expandir para quantos geradores diferentes se queira. 

De maneira geral, os geradores melodicos dependem dos geradores ritmicos. Os geradores 
ritmicos "pedem"nota por nota para o geradores melodicos 

Melodia imitativa 



Nesse primeiro gerador melodico o metodo de geragao e a leitura linear da tabela temporaria de 
pitches como se pode ver na figura 4.42. 

O objetivo desse gerador e a imitagao melodica do instrumentista. 
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Figura 4.41: Abstragao que organiza 4 geradores melodicos 



inlet 




Figura 4.42: [pd gerador-melodicoO] 

Melodia de probabilidades 

Nesse objeto foi implementada uma probabilidade unidimensional de duragoes. Ou seja, o 
valor absoluto de cada duragao da performance do miisico alimenta uma tabela de duragoes. 
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Figura 4.43: exemplo de melodia imitativa gerada 



Uma possivel aplicagao seria a aplicagao de probabilidades de padroes maiores de duragoes. 
Permitindo a recorrencia dos padroes ritmicos que emergem ao longo da performance. 

No Pd podemos implementar um sistema simples de probabilidade como vemos na figura 
XXX 

O objeto [probalizer], simplifica o trabalho. 

Importancia das probabilidades serem atualizadas em tempo-real. 

Explicar patch simples de probabilidade e como seria a re-implementagao do probalizer 
apenas com vanilla. 

O gerador melodico da figura 4.44, e baseado no objeto grafico [probalizer] da biblioteca 
"Unauthorized"distribmda com o pd-extended. 

O objeto [probalizer], facilita o trabalho. 
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Importancia das probabilidades serem atualizadas em tempo-real. Explicar probabilidade 
simples. 



inlet not a 




outlet 



Figura 4.44: [pd gerador-melodicol] 



Movimento browniano como gerador melodico 




Figura 4.45: [pd gerador- melodico2] 

O terceiro gerador e mostrado na figura 4.45 e realiza uma combinagao entre os objetos 
[tabletool] e [brown-melody]. 

Melodia de notas randomicas 

O gerador da figura 4.46 e baseado no objeto [random.integer]. O objetivo desse gerador e ter 
um gerador com alto grau de permeabilidade melodica. 
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Figura 4.46: [pd gerador-melodico3] 

4.3.3 Geradores de amplitudes 

Sao encontrados diferentes termos definindo o aspecto da amplitude sonora como dinamica 
(quando nos referimos a notagao tradicional), velocity (quando se refere a dados MIDI), volume 
e amplitude (mais usado quando se refere a descrigao fisica da onda sonora). 

As variagoes de amplitude podem produzir diferentes gestos musicais, Gerando acentos, 
diferentes articulagoes . . . 

Amplitude imitativa 

bla bla bla 

Gerador de amplitude baseado em varia?ao 
Movimento browniano como gerador de amplitude 
Amplitude polifonica 

4.3.4 Harmonizador automatico 

Nota pertence ao acorde 

O prototipo 2 tern como objetivo apresentar possibilidades de harmonizagao automatica em 
tempo-real, onde o sistema tendo o conhecimento da linha melodica criada instantaneamente 
pelo miisico, consegue harmonizar essa linha melodica, tendo como a maior exigencia que 
o acorde contenha a nota que esta sendo tocada. Para isso sao expostas 4 possibilidades de 
harmonizagao automatica, com resultados distintos. 

No patch da figura 4.47 temos a celula basica do harmonizador diatonico (modo 1) usado 
no prototipo. O objeto [receive fiddle] recebe o fluxo de notas e o objeto [decide], escolhe 
randomicamente quais notas vao ser harmonizadas, e manda sua decisao para o objeto [spigot] 
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que funciona como uma chave seletora liberando ou nao a nota para ser harmonizada. Apos a 
nota ser liberada para o harmonizador, vai acontecer a escolha de qual acorde sera sobreposto 
a essa nota. Isso e feito pelo objeto [random 4] que escolhe randomicamente um numero de 0 
a 3, cada um representando uma operagao a ser feita com a nota dada pela flauta (ver ainda na 
figura 4.47 - "tabela de resultados de [random 4]"). 



recebe fluxo 
de notas 




Tabela de resultados de [random 4] 



sorteia qual nota do acorde sera a nota dada 



nota dada tonica (ainda sorteia entre acorde M ou m) 
nota dada terca me nor 
nota dada terca maior 

nota dada quinta (ainda sorteia entre acorde M ou m) 



esse objeto decide 
quais notas de entrada 
que serao harmonizadas. 



Figura 4.47: Decisao de qual nota a ser harmonizada 

Na figura 4.48 podemos ver o que acontece dentro do sub-patch [pd tonica], onde a nota 
sorteada sera a tonica de uma triade maior ou menor dependendo do resultado de [random 2]. 
A figura 4.49 mostra um pequeno exemplo dos resultados desse harmonizador. Nesse exemplo, 
a primeira nota harmonizada e um si que virou terga maior de uma triade maior. Um aspecto 
interessante desse harmonizador e que mesmo em exemplos curtos quase sempre se chega a 
relagoes de mediantes cromaticas, como e o caso do terceiro e quarto acordes (Mib - Lab), 
nesse caso uma relagao enarmonica de mediante cromatica. 

Apesar de muitas vezes os acordes gerados pelo harmonizador diatonico possuirem uma 
relagao cromatica, todos os acordes gerados sao triades maiores ou menores. Para criar um con- 
traste criei um harmonizador de acordes alterados que esta na figura 4.50. Nesse harmonizador 
todas notas que entram sao tonicas e todas sao harmonizadas. A escolha do acorde para cada 
nota e feito atraves de distribuigao de probabilidade, arranjado com o objeto [moses]. Quando 
uma nota entra, ela gera randomicamente um numero de 0 a 99 com o objeto [random 100], esse 
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Figura 4.48: sub-patch "pd tonica" 



Figura 4.49: resultado da harmonizagao com modo 1 



valor entao e enderegado a um dos quatro tipos de tetrades possiveis nesse patch : aumentado 
com T menor, alterado com 5 a diminuta (6 a aumentada Frances), menor com setima maior ou 
maior com setima maior. Cada uma das quatro tetrades tern 25 por cento de probabilidade de 
aparecer. Cada membro dos acordes e enderegado a um gerador de sintese aditiva com ampli- 
tude bem baixa. Em fungao da amplitude bem baixa do harmonizador de acordes alterados, o 
resultado funciona mais como uma textura dissonante do que como um harmonizador de fato. 

O objetivo e a investigagao de possibilidades e prototipagao de estruturas computacionais 
com objetivo de agregar interatividade ao trabalho composicional. Apesar desses harmonizadores 
terem sido usados nessa pega para interagao com audio em tempo-real, podem ser muito uteis 
como geradores de material escrito em notagao tradicional, como mostra a figura 6. Esta im- 
agem mostra o patch de Pd mandando as informagoes para o programa de notagao Rosegar- 
den atraves do programa Jack que funciona como um servidor de comunicagao entre progra- 
mas.Esse tipo de operagao possibilita uma usabilidade do Pd semelhante ao programa Open- 
music do Ircam. 

O proximo passo da pesquisa sera a implementagao de reconhecimento de padroes de uma 
performance. Isso sera feito com a estocagem das notas de entrada criando assim uma base 
de dados local temporaria com os objetos [serialize] e [coll] e analisando essa base de dados 



68 




com redes neurais artificiais (objeto [ann]). Isso possibilitara que o programa aprenda padroes 
melodicos e crie estruturas a partir dessa aprendizagem. Nessa fase inicial, a implementagao 
do reconhecimento de padroes tern gerado uma serie de questoes como: Qual o tamanho e 
quantas melodias/motivos quero que o programa reconhega? O programa deve fazer um re- 
conhecimento estrito ou pode realizar uma classificagao de aproximagao ou similaridades? As 
melodias/motivos terao um tamanho fixo de notas ou tempo, ou serao variaveis? O que acontece 
se um motivo curto e um sub-conjunto de um motivo maior? 



Acorde pertence a cole^ao de notas 
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Figura 4.51: pd, jack e rosegarden 



4.4 Geradores de Sintese sonora 



Basicos sobre processamento de sinal do Designing sound. 

Nessa segao vao ser abordadas tecnicas classicas de sintese e maneiras de conectar essas 
tecnicas com a analise de audio em tempo-real. O objetivo e criar situagoes de dialogo entre 
instrumentos tradicionais e sons sintetizados. 

* falar sobre a composigao do timbre 

* Na implementagao sao usados objetos geradores de audio. Cada gerador tern metodos e 
comportamentos diferentes. 

* Como conectar mensagens de controle em objetos que lidam com audio 

* problemas possiveis: 

"Message operations are executed at the beginning of each pass of audio block processing, 
so a patch where audio depends on message operations which don't complete in time will also 
fail to produce correct output." 

(Farnell,pg. 185) 



4.4.1 Objeto [sinc-gera-sintese] 

Nessa abstragao procura-se administrar a interagao do miisico com diversas geradores baseados 
em diferentes tecnicas de sintese, oferecendo uma paleta de timbres ao compositor. 
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Figura 4.52: [sinc-gera_sintese] 



Os primeiros quatro sintetizadores descritos aqui, foram pensados como o mesmo sinteti- 
zador, tendo sido implementados como quatro separados, como estrategia composicional na 
organizagao das mensagens dos cenarios de interagao. 

A superposigao ou justaposigao de diferentes sintetizadores vai ser definida pelo comporta- 
mento pre-estabelecido pelo cenario de interagao proposto. 

Sintese aditiva com as notas da entrada de audio 

Na figura 4.53 vemos um gerador de sintese aditiva com tres osciladores [osc~] somados com 
2 objetos de soma de audio [+-]. 

A frequencia de cada oscilador e determinada por uma leitura randomica da tabela de notas 
que sao executadas pelo musico. Cada nota detectada pelo objeto [sinc-audioanalise] e enviada 
para o array $0-nota que tern 8 elementos. Cada oscilador acessa esse array com o objeto 
[random] e manda a nota para o objeto [mtof] que converte o valor de nota midi para valor 
de frequencia. Apesar das notas terem sido executadas pelo musico, as novas combinagoes de 
notas causadas pela leitura randomica cria uma sensagao de elemento novo no discurso musical. 

Cada nota e acionada pelo objeto [metro] que tern argumento de tempo constantemente re- 
calculado de forma randomica. O objeto [metro] produz pulsos regulares (bangs) de acordo 
com o argumento que representa o valor de tempo entre cada bang em milisegundos. Isso causa 
um ritmo fragmentado, gerando padroes ritmicos instaveis. 

A amplitude desse sintetizador e fixa, com envelope feito com o objeto [line-]. As fases de 
ataque e decaimento de cada acorde sao feitas com 2 mensagens, a primeira enviada imediata- 
mente realiza o ataque e a segunda e agendada como o objeto [del] que realiza uma linha de 
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Figura 4.53: [pd geradorCLdiato] 

atraso responsavel pelo decaimento . A amplitude resultante dos 3 osciladores e normalizada 
com o objeto [*~] com argumento 0.2. 

No resultado da sintese e aplicado um delay com valor de escrita e leitura fixos. O delay e 
obtido com a combinagao dos objetos [delwrite-] e [delread-]. O audio resultante da sintese e 
escrito em uma memoria temporaria com o objeto [delwrite-] designado com o nome "delay3"e 
tendo o tamanho total de escrita de 2000 milisegundos. Essa linha de delay chamada "delay3"e 
lida pelo objeto [delread-] e enviada novamente para a escrita do delay com [delwrite-], cau- 
sando um efeito de feedback de delay. Antes da leitura do delay ser enviado novamente para 
a escrita, ele e normalizado com o objeto [*~] em 0.7, o que causa um efeito de eco ou reverb 
exagerado. 

O efeito musical resultante desse sintetizador e como se fosse um harmonizador que ecoa 
combinagoes inusitadas das frequencias executadas. O reconhecimento das frequencias con- 
trasta com o ritmo randomico gerando uma familiaridade estranha. 
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Figura 4.54: [pd geradorCLrand] 
Sintese aditiva com frequencias randomicas 

Esse gerador e basicamente igual ao anterior com a diferenga de que as frequencias sao total- 
mente randomicas, sem usar nenhum material fornecido pelo musico. A escolha das frequencias 
e feita baseada em um objeto [random] com argumento 127, podendo aparecer qualquer valor 
de 0 a 127. Os outros dois osciladores recebem esse valor randomico e cada um soma a esse, 
outro valor randomico de 0 a 12, resultando em um acorde sempre com as tres notas dentro da 
mesma oitava. 

Esse modulo de sintese e usado como contraste em relagao ao anterior. Dentro de um 
discurso musical interativo e importante que existam elementos que proponham e acrescentem 
elementos estranhos ao que o musico executa. 

Pode-se, por exemplo, usar em tempo-real o indice de analise de permeabilidade melodica 
executada pelo musico para a partir de determinado valor desse indice o programa alternar 
automaticamente entre esses dois diferentes sintetizadores. 
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Tempo de delay randomico com frequencias da tabela 





Figura 4.55: [pd geradorl.diato] 

* a variagao dos tempos de escrita e leitura de linhas de delay, causa o aparecimento de 
padroes ritmicos mais complexos e instaveis. 

Gerador de frequencias randomicas com tempo de delay randomico 
Sintese FM responsiva 

Ruido branco com filtro de frequencias executadas pelo musico 
Sintetizador com forma de onda variavel 
Sintetizador baseado em analise e resintese 



74 




Figura 4.56: [pd geradorl_rand] 

4.5 Processamento de sinal de audio 

* performance musical controlando parametros de processamento 

* Diversas tecnicas de processamento digital fazem parte do repertorio composicional com 
computadores. Muitos programas de computador realizam as mesmas tecnicas com algumas 
diferengas de implementagao. 

As tecnicas de processamento digital mais conhecidas emulam dispositivos eletronicos que 
operam no sinal analogico atraves de circuitos eletricos. Sao muito comuns em estiidios a 
presenga de "modulos de reverb"ou "pedais de efeito"para instrumentos. 

* Para aplicar uma tecnica de processamento, primeiro se deve amostrar o audio a ser pro- 
cessado. No caso dos objetos de loop, o audio e gravado em um array e lido repetidamente 
nesse array. Ja o delay variavel vai ter uma janela de escrita e de leitura variaveis desse sinal. 
O motor basico dos loops implementados sao feitos com o objeto [tabplay-] que le arrays de 
audio sem alterar o tempo ou frequencia. Esse objeto preve um metodo de comego e fim da 
leitura em niimero de samples. 



75 




Figura4.57: [pdfml] 

Tambem podemos processar o sinal de audio em tempo-real, como e mostrado na figura 
XXX , onde e implementado um ring-modulator simples. 

* figura : controle de ring modulator por analise de audio de entrada 

* figura : mistura de objetos da DIY2 e rj 

4.5.1 Delay variavel 

- delay variavel 

- efeitos com FFT (vocoder? - delay espectral) 

4.5.2 Objeto [sinc-loop] 

* importancia da repetigao na estrategia composicional 

* loop sim, sequencer nao. Porque a situagao de sequencer nao interessa a essa pesquisa 

* situagoes de loop: livre (pedais de guitarra) e no tempo (sequenciadores modernos como 
ableton live) 

* figura mostrando a diferenga entre loop livre e no tempo 
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Figura4.58: [pd noise] 

* implementagao do loop master 

* implementagao do loop slave 

* exemplo de aplicagao e uso de um master com diversos slaves 

* Para o futuro o ideal seria um loop baseado em [tabread4~] que permite o "stretch" da 
leitura do audio. Isso possibilita que o programa ajuste o loop a qualquer tempo. 



4.5.3 Navalha 

* loop fatiado em tempo-real misturado com sequenciador 

Este projeto e um estudo para estimular uma atividade que torna-se cada vez mais evidente 
no universo do software livre e codigo aberto - a customizagao de softwares para ideias artisticas 
e para produgao multimidia em geral permitindo aquele que via criar desenvolver suas ideias 
abstratas partindo de maneiras rapidas de trabalhar com codigo, ao inves da logica onde o artista 
e visto como um usuario de interfaces j a prontas que ao tentar "prever aquilo que quer o usuario" 
tambem acaba impondo sua pratica de uso. 



4.5.4 Processamento por sintese granular 




Figura 4.59: [pd synth_waveforms] 

4.6 Vizualizador de Nota^ao musical 

Colocar que essa parte sao implementagoes experimentais 
Falar das possibilidades implementadas: 

4.6.1 Pd e lilypond 

Lilypond e uma linguagem de diagramagao especializada em notagao musical. 
Pd e Lilypond via lisp 

(defpackage # : f ft-lily 
(:use #:cl #:ltk) ) 

(in-package # : f ft-lily) 

(def parameter *lily* ' (c cis d dis e f fis g gis a ais b) ) 




Figura 4.60: [pd gerador_resintese] 



(defun filtra-amps () 

(remove-if #' (lambda (x) (< x 0.02)) (foo) : key #' second)) 

;;refinar a amplitude de corte 

; ; arrumar a fungao "foo" e trocar por "footeste" 

(defun print-filtro () 
(print (filtra-amps) ) ) 

(defun extrai-freq () 

(mapcar #' (lambda (x) (nth 0 x) ) (filtra-amps) ) ) 

(defun f req-parciais () 

(remove-if #' (lambda (x) (< x 1)) (extrai-freq))) 

(defun freq->midi (freq) 

(round (* 12 (log (/ freq 8.176) 2)))) 



(defun freq->int (freq) 

(print (freq->midi freq) ) ) 




out let ~ 



Figura 4.61: banco de osciladores 



(defun cerebro () 

(mapcar #' (lambda (x) (freq->int x) ) ( f req-parciais ) ) ) 

(defun modulo (num) 
(mod num 12 ) ) 

(defun nota->nome (tipo nota) 
(nth (modulo nota) tipo) ) 

(defun parciaismidi-lily () 

(mapcar #' (lambda (x) (nota->nome *lily* x) ) (cerebro) ) ) 

(defun calculo-f requencias (bloco) 

(let ( (bloco (read-f rom-string (text bloco) ) ) ) 

(loop for parcial from 0 to (/ bloco 2.0) collect 
(* parcial (/ 44100.0 bloco))) 
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Figura 4.62: [pd osc] 



(print bloco) 



;;;;LTK: 

(defun ler-arquivo (arquivo) 

(with-open-f ile (stream arquivo : direction : input) 
(loop for line = (read-line stream nil) 

while line collect (read-f rom-string line) ) ) ) 

(defun le-freqs () 

(setf *freqs* (ler-arquivo (get-open-file) ) ) ) 

(defun le-amps () 

(setf *amps* (ler-arquivo (get-open-file) ) ) ) 

(defun foo () 

(mapcar #'list *freqs* *amps*)) 



(defun toca-midi () 

(sb-ext : run-program " /usr/bin/timidity " (list "foo.midi") ) ) 



(defun criagrafico () 

(with-open-f ile (arquivo "foo.ly" : direction : output :if-exists : supe 




T " " . 



(format arquivo "Wscore {~%") 
(format arquivo "<<~%") 

(format arquivo "~{ \\new Staff { Wrelative c' {~(~a ~)}}~%~}" 

(parciaismidi-lily ) ) 
(format arquivo ">>~%") 

(format arquivo "Wlayout {} Wmidi { } } " ) ) 

(sb-ext : run-program " /usr/local/bin/lilypond" (list " — preview 1 
( sb-ext : run-program " /usr/bin/convert " (list "foo.png" "foo.gif") ) ) 

(defun plot-image (canvas img) 

(create-image canvas 0 0 : image (image-load img "foo.gif"))) 

(defun fft-gui () 
(with-ltk () 

(let* ( (frl (make-instance ' frame) ) 
(fr2 (make-instance ' frame) ) 
(fr3 (make-instance ' frame) ) 

(cl (make-instance ' canvas :width 1000 :height 500 :master 
(img (make-image) ) 
(botaoamp (make-instance ' button 

:master fr2 

:text "abrir arquivo com amplitudes" 
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: command #'le-amps) ) 
(botaofreq (make-instance ' button 

:master fr2 

:text "abrir arquivo com frequencias" 
: command #' le-f reqs) ) 
(botaocrialistapares ( 

make-instance ' button 
rmaster fr2 

:text "cria lista de amps e freqs" 

: command #' f oo) ) 
(blocksize (make-instance 'text 

:master fr2 

:font "{Verdana} 12" 

:width 100 

: height 3 ) ) 
(botaoblock (make-instance 'button 

:master fr2 

:text "calcula numero de parciais" 
: command #' (lambda () (calculo-f requencias 
(toca-midi (make-instance 'button 

:master frl 
:text "toca midi" 



83 



sinc-audioin 




































































































H 


H 


H 


H 


H 


h 


■\ 


H 


H 


H 


H 


H 





p p 



Alt_L 
I 

list 2 symbol 



livre $1 tempo $1 



s inc- loop_s lave 



0 



loop livre 
loop no tempo 



volume 



gravando 



P P 



Alt_L 

£=± , 

list2symbol 

_T 



livre $1 tempo $1 



sinc-loop_slave 

j~ | loop livre 

|~ j loop no tempo 

||_ volume 



gravando 



P P 

tempo $1 liga $1 




sinc-loop_master 

reset ^ 
loop livre [j = 1 

u n i 



loop no tempo 
letro [[ volume" 



gravand 




sin 


c-mi 

2 

1 I 


xer 

D 


b 


main 

5) 


volume 
bypas; 



Figura4.65: Uso de dois [sinc-loop_slave] e [sinc-loop_master] 

: foreground "blue" 
: activef oreground "black" 
: background "white " 
: activebackground "red" 
: command #'toca-midi) ) 
(cria-pauta (make-instance ' button 

:master frl 

:text "cria partitura" 

: foreground "pink" 

: activef oreground "white" 

: background "white " 

: activebackground "red" 

: command #' (lambda () (criagraf ico) ) ) ) 
(mostra-pauta (make-instance r button 

:master frl 
:text "mostra pautas" 
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\2i **-iim •it-^-imt. a p no rma -| lze 



edit wav-file: 



Figura 4.66: navalha 



f req 



tabreceive- $0-8 




normalizing the amplitude has to be done with [/~ 
2*blocksize] because we have added re and im, and both 
to big by l*blocksize! 



Figura 4.67: Patch que faz analise FFT para ser enviada ao programa em lisp 



: foreground "blue" 

: activef oreground "black" 

: background "white " 
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: activebackground "red" 

: command #' (lambda () (plot-image cl img) ) ) 
(pack frl :side :top) 
(pack fr2 :side :top) 
(pack fr3 :side : bottom) 

(pack (list botaocrialistapares toca-midi cria-pauta botao 
(pack (list blocksize cl)))) 



Pd e Lilypond via Rosegarden 

4.6.2 Nota^ao musical com GEM 

Gemnotes by Ed Kelly: 

fonte: (http://sharktracks.co.uk/site/2010/12/gemnotes-progress/) escrito em 16/12/2010. 

The Gemnotes project nears completion. Gemnotes is a live music notation system written 
in Pure Data (PD). It generates symbolic notation on the screen for musicians to play, and can 
also be used as a sound-to-notation device for improvisation and music education as well. 

In 2008 I began to experiment with truetype fonts in GEM - the Graphics Environment for 
Multimedia for Pure Data. At first I was able only to print a stave, a clef and a note, then with 
an accidental. The idea was to develop a system that musicians could use based on musical 
information (note value, duration of note values, pitch and clef) that was relatively easy to 
program a score. For the past year I have been intensely developing this system, and for the 
past 6 months I have been building an extremely complex rhythm register and notation object 
counter. This object is now complete, and the system is evolving to show beamed groups, ties, 
rests and chords. These are projected in realtime, and can be made to change at any time, on a 
computer screen. 

The system uses dynamic patching in PD - effectively a PD patch that builds another PD 
patch (the graphical score) using pre-made abstractions (PD patches saved in the same folder 
as the root patch) that contain the commands to create a graphical representation of music. For 
such a complex system (music notation) it has been necessary to create an object in the C pro- 
gramming language that manages the number of objects, which objects are linked to which, 
and how music-specific elements (such as ties and tuples) are displayed. This object (the gem- 
notes_counter object) consists of over 800 lines of code and took 6 months to write, but there 
is much, much more to add to it (dynamics, articulation). The emphasis so far has been to en- 
capsulate all of the features of Western musical notation. . . but, because it is written in PD with 
GEM, it is open to less literal expositions of notated music, since anything (including video) 
can be projected in the same graphical space as the notation, and even anchored to a stave in 
gemnotes. 
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audiomidi.pd - /home/livre/sincopa/sinc_abs 



File Edit Put Find Windows Media 



Help 
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Connections - JACK Audio Connect! 



Audio MIDI ALSA 
Readable Clients / Output Ports 



+ O 14:Midi Through 
130:Pure Data 
& l;PureData Midi-Out 1 

+ IO 131:rasegarden 



jf Con nee X Disconnect Dis conned 



OOO ^Untitled - Segment Track #1 - 

File Edit View Com position Segment Note P\ 




Font; Feta * Size: 8 



\> 7 IT 



Figura 4.68: Pd e lilypond via rosegarden 

4.7 Cenario de intera^ao 

Explorar a dualidade entre automagao e interagao. 
Apresentar o teclado hackeado. 



4.7.1 Objeto [sinc-mixer] 



Na figura 4.72 vemos a composigao interna do objeto [sinc-mixer] que tern como objetivo im- 
plementar um mixer de audio de quatro canais independentes. 
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Figura 4.70: resultado grafico de gemnotes 
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gemnotes counter-help, pd - media sda 3 Data pure data 2010 gem notes 



File Edit Put Find Windows Media 



Help 




offset rhythm duration grouplen groupcount rest offset rest_rhythm numerator denominator group^object object! 



[pack f f] fcack Ff~£ 7 f~f f] 
Jprint tsigj [print note"] 

a [pack f f j 
[print rest 



gemnotes_milestones 
|2X| Phase 1: modify fonts 6 build prototype objects. 
[Xj Phase 2: build prototype objectmakers 
I2XI Phase 3: build ge«notes_counter 
[X] Phase 4: Implement and debug counter object 
^~~| Phase 5: build and link to score translator 
"^~| Phase 6: rehearsals and first performance 

31/1/2011 



timeline 
September 2008 - September 2010 
December 2009 - September 2010 
September 2010 - December 2010 
December 2010 



Figura 4.71: exemplo de uso de gemnotes 



Alem do volume global de cada canal, podemos tambem ter o controle independente de 
espacializagao simples como pode ser visto na composigao interna da abstragao [sinc-pan] na 
figura 4.73 

4.7.2 Cenarios de comportamento interativo 

Abstragao de controle de diferentes cenarios. 



4.8 Experimentos 

Nessa segao serao demonstrados alguns experimentos praticos usando as abstragoes descritas 
anteriormente. 



4.8.1 Experimento 1 - Geradores melodicos e ritmicos 

O experimento mostrado na figura 4.74 mostra um dialogo entre um instrumentista com os 
geradores MIDI descritos na pesquisa. 



4.8.2 Experimento 2 - Loop e controle ritmico 




Figura4.73: [sinc-pan] 



Sincopa 
a Experimento 1 

f igocris@gmail . com 




Figura 4.74: Experimento 1 - Geradores melodicos e ritmicos 



Capitulo 5 

Resultados e Conclusao 



Esse trabalho e fruto de 3 anos e meio de pesquisa em tecnicas de composigao de musica in- 
terativa. Um caminho adotado na metade do processo apontava para a criagao de um sistema 
de redes neurais para cada parametro musical e a concatenagao dos resultados dessas redes em 
diferentes mveis. Em vez disso, foi optado por seguir um caminho de desenvolver ferramen- 
tas genericas, mais leves computacionalmente, facilmente customizaveis e mais portateis em 
diferentes plataformas. 

De certa maneira o projeto inicial era bem mais ambicioso no sentido de que se esperava 
um sistema inteligente e flexfvel. Quando na pratica nao existe um sistema de musica computa- 
cional que seja totalmente generico e integral. O grande desenvolvimento acontece no piano 
das ferramentas especializadas. No presente trabalho procuramos desenvolver uma serie de 
ferramentas especializadas que podem ser empregadas genericamente, independente do design 
composicional, que pode combinar de infinitas formas a organizagao e disposigao dessas ferra- 
mentas. 

Outra decisao foi a de nao entrar no campo da analise de audio estrita, no piano da DSP. 
Ainda que a fonte primaria de entrada seja o audio puro, se optou por desenvolver ferramentas 
no mvel sub-simbolico de representagao e usar as ferramentas de DSP "standard" das bib- 
liotecas externas do Pd. Um desenvolvimento importante e o de analise de sinal polifonico, 
desenvolvido no Ircam, com otimos resultados, 1 porem ainda com acesso restrito ao codigo ate 
a data desse texto 2 . 

A modularidade das ferramentas desenvolvidas no Pd permitem integrates mais complexas 
como controle de processamento de imagem e adaptagao para outros dispositivos como celu- 
lares e interagao via internet em tempo-real. 

Para o futuro da pesquisa, acredito que foram apontadas diregoes para aprofundamento de 
cada um dos prototipos. Na tese os prototipos serao aprofundados e outros apresentados na 
forma de pegas musicais, misturando as tecnicas e explorando maneiras musicalmente expressi- 
vas de sobrepor ou justapor as tecnicas. Tambem sera aprofundado teoricamente o desenvolvi- 
mento da narrativa instrumental e gestual do miisico. As tecnicas apresentadas ate aqui sao 
ferramentas genericas para analise musical, uma outra etapa sera combinar todas essas tecnicas 



1 http://www.youtube.com/watch?v=EUxx9epi06o 
2 http://imtr.ircam.fr/imtr/Antescofo 
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em pegas de musica mais longas, onde se possa experimentar diversas narrativas e como as 
ferramentas se comportam em projetos maiores. 
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Capitulo 6 
Apendice 



6.1 FFT no Pd 

Geralmente uma FFT ira fazer uma analise espectral. Em termos simples ela ira calcular, quais 
ondas senoidais voce precisa acrescentar para obter o mesmo sinal como o executado no cor- 
rente bloco de sinal. Basicamente ela ira dizer as frequencias e fases (primeira e segunda en- 
tradas) e amplitudes de uma porgao de componentes senoidais que, teoricamentese, se voce 
soma-los todos, ira re-sintetizar seu sinal corrente. 




Figura 6.1: [pd fft] - fluxo basico de visualizagao da FFT 

O fluxo basico de objetos para visualizagao da analise FFT em tempo-real e vista na figura 
6.1. Podemos observar ai a presenga do objeto [block ], que e responsavel por definir a quanti- 
dade de parciais que irao ser revelados pela analise. A FFT ira gerar dados de controle para o 
tamanho de [block-] dividido pela metade. Portanto com um "blocksize"de 1024, teremos 512 
parciais descritos por frequencias, fase e amplitude. 

Cada parcial tern sua frequencia fixa. Essas frequencias sao miiltiplos (harmonicos) da taxa 
de amostragem (TA) divididos pelo tamanho de [block-] (TB). Sempre comegando em fO = 0 
Hertz, o proximo parcial tera a frequencia fl = 1 * TA/TB, e o proximo em f2 = 2 * TA/TB 
, ate o ultimo parcial f-final = (TB/2) * TA/TB , que e equivalente a TA/2 , representando 
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a frequencia de Nyquist 1 . Pode-se assim dizer que [block-] e responsavel pela resolugao da 
analise a ser feita. 
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table *0-fft 128 



Figura 6.2: patch de visualizagao de analise FFT 




Figura 6.3: janela de visualizagao da FFT 



Explicar rapidamente: 

1) niimeros reais e imaginarios 

2) a fungao do [sqrt~] por ele mesmo 3) [clip-] 4) [tabwrite-] 



1 A teoria da amostragem digital mostra que o efeito de aliasing pode ser evitado se a frequencia de Nyquist for 
maior que que a maior frequencia do sinal a ser amostrado. 
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6.2 PDMTL 

6.3 RTC 

6.4 MEPSOM 



